深层神经网络难以训练的原因

目录 梯度消失 梯度爆炸 权重矩阵的退化导致模型的有效自由度减少 解决梯度消失的方法 解决梯度爆炸的方法 梯度消失 梯度消失：前面隐藏层的学习速度显著低于后面隐藏层 梯度消失的根本原因： 梯度爆炸 梯度爆炸的根本原因：当，前面的网络层比后面的网络层梯度变化更快。 权重矩阵的退化导致模型的有效自由度减少 参数空间中学习的退化速度减慢，导致减少了模型的有效维数；有效自由度减少，随着模型深度的增加，退化

>>阅读原文<<