深度学习中常用的激励函数有哪些?

激励函数是神经网络中的一种重要组成部分，它可以将神经元的输入转换为输出，从而实现非线性变换。激励函数的作用是增强神经网络的表达能力，解决线性模型所不能解决的问题，以及提供神经网络的稀疏表达能力。

深度学习中常用的非线性激励函数有以下几种：

• Sigmoid函数：它能够把输入的连续实值变换为0和1之间的输出，具有平滑性和饱和性，但也存在一些缺点，如梯度消失、输出不是零均值、计算量较大等。

• 
  
• tanh函数：它是Sigmoid函数的变形，它能够把输入的连续实值变换为-1和1之间的输出，解决了Sigmoid函数输出不是零均值的问题，但仍然存在梯度消失和计算量较大的问题。

• 
  
• ReLU函数：它是一个分段线性函数，它能够把输入的负值变为0，而保持正值不变，具有简单、快速、稀疏等优点，但也存在一些问题，如输出不是零均值、死亡ReLU等。

• 
  
• Leaky ReLU函数：它是ReLU函数的改进版，它能够把输入的负值变为一个很小的正值，而保持正值不变，解决了死亡ReLU的问题，但仍然存在输出不是零均值的问题。

• 
  
• ELU函数：它是另一种改进版的ReLU函数，它能够把输入的负值变为一个指数函数值，而保持正值不变，具有零均值、饱和性、稀疏性等优点，但计算量较大。