机器学习（自然语言处理）-2-梯度消失和梯度爆炸

机器学习（自然语言处理）-2-梯度消失和梯度爆炸 反向传播 梯度下降 梯度消失 梯度爆炸 解决梯度消失和梯度爆炸的常用方法 参考文献 反向传播 在看梯度消失和梯度爆炸之前，首先应了解反向传播的思想。因为梯度消失和梯度爆炸问题都是因为网络太深，网络权值更新不稳定造成的，本质上是因为梯度反向传播中的连乘效应。 目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式

>>阅读原文<<