神经网络训练中的梯度消失与梯度爆炸

梯度消失会导致深层网络前面的层权值几乎不变，仍接近于初始化的权值，就等价于只有后几层的浅层网络的学习了。 层数比较多的神经网络模型在训练时也是会出现一些问题的，其中就包括梯度消失问题（gradient vanishing problem）和梯度爆炸问题（gradient exploding problem）。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越来越明显。 例如，对于下图所示的含

>>阅读原文<<