深度学习-梯度爆炸和梯度消失

1、梯度爆炸和梯度消失         训练很深的神经网络时，随着层数的增加，导数会出现指数级的下降，则导致梯度消失。或者指数级的增加，导致梯度爆炸；本质是梯度传递的链式法则所导致的矩阵高次幂（反向传播会逐层对函数求偏导相乘）； 1）梯度消失         网络层之间的梯度（值小于 1.0）重复相乘导致的指数级减小会产生梯度消失；        原因： 主要是因为网络层数太多，太深，导致梯度无法

>>阅读原文<<