神经网络中常用的激活函数

为什么要用激活函数： 引入非线性。 1. SIGMOD Sigmoid导数： 缺点： 容易发生梯度消失。当z特别大或者特别小的时候，从图像可以看出，导数的梯度或者函数的斜率会特别小，最后会接近0，梯度下降的速度降低。如果我们初始化神经网络的权值为 [ 0 , 1 ]之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那

>>阅读原文<<