梯度消失，梯度爆炸产生的原因及解决办法

1.梯度消失和爆炸产生的原因： a）从网络深度来分析： 在反向传播过程中需要对激活han函数进行求导，如果导数大于1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。同样如果导数小于1，那么随着网络层数的增加梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，属于先天不足。 b）从激活函数来分析： 前面a中提到的激活函数

>>阅读原文<<