Sigmoid函数和Tanh函数是两种常用的激活函数，它们都可以将输入的实数映射到一个有限的区间内，从而实现神经元的非线性输出。它们的数学表达式和函数图像如下：

Sigmoid函数和Tanh函数的优点有：

• 它们都是平滑连续的函数，可以用于反向传播算法中计算梯度。
• 它们都可以将输入值压缩到一个有限的范围内，避免了输出值过大或过小的问题。
• 它们都可以实现神经元的“开关”功能，即当输入值达到一定阈值时，输出值会发生明显的变化。

Sigmoid函数和Tanh函数的缺点有：

• 它们都是饱和激活函数，即当输入值过大或过小时，导数趋于0，导致梯度下降法更新参数时变化很小，减缓网络收敛速度。这种现象被称为梯度消失问题1。
• 它们都涉及指数运算等复杂操作，计算速度相对较慢。
• Sigmoid函数不是关于原点中心对称的（zero-centered)，这可能导致后一层神经元的输入值不以0为中心，影响收敛效果