神经网络训练中的梯度消失与梯度爆炸

层数比较多的神经网络模型在训练时也是会出现一些问题的，其中就包括 梯度消失问题（gradient vanishing problem）和梯度爆炸问题（gradient exploding problem）。 梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越来越明显。 例如，对于下图所示的含有 3 个隐藏层的神经网络，梯度消失问题发生时，接近于输出层的hidden layer 3等的权值更新

>>阅读原文<<