机器学习：神经网络中的梯度消失和梯度爆炸

一、什么是梯度消失和梯度爆炸 1. 梯度消失(gradient vanishing problem)      我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新，梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。 2. 梯度爆炸(gradient exploding problem)    

>>阅读原文<<