激活函数

1）sigmoid sigmoid的俩个问题： 1.梯度消失。 如上图所示，饱和的神经元会kill 梯度。 当x取值为-10和10的时候， σ ( x ) \sigma(x) σ(x)对x的导数几乎为0。所以此局部梯度变成了0，不管上游梯度为多少，再利用链式法则求导时，会将损失函数对x的偏度置为0。所以梯度无法继续传递。造成无法进行梯度更新。 如上图所示，当该神经元达到饱和时(即，经过一定时间训练

>>阅读原文<<