梯度爆炸与梯度消失

梯度不稳定问题 　　根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。 　　梯度消失导致DNN的前面几层权值得不到更新，相当于对输入做同一映射，仍接近初始值，等价于浅层神经网络， 梯度消失 　　sigmoid导函数为负的二次曲线有最大值。 梯度爆炸 　　 量化分析 　　 　　可以考虑使用其它激活函数对梯度消失问题进行改善，如ReLU。

>>阅读原文<<