深度学习之激活函数

1.0 sigmoid激活函数 函数表达式：f(x) = 1 / (1 + exp(-x)) 导数表达式：g(x) = f(x)*(1-f(x)) 函数图像： 特点： 1）反向传播算法求解梯度时要进行链式求导，即各个偏导数相乘。由sigmoid导数图像可以看出，当偏导数取值在两边接近0时，连乘得结果会导致所得结果无限接近0，即造成梯度消失现象。 2）幂运算复杂，训练时间长 3）输出非0均值，收敛慢

>>阅读原文<<