神经网络中的梯度不稳

神经网络中的梯度不稳 文章目录 神经网络中的梯度不稳 一、概述 二、RNN中梯度不稳的原因 三、LSTM解决梯度消失 四、其它解决梯度不稳的方法 4.1 预训练加微调 4.2 梯度裁剪与正则化 4.3 激活函数的角度 4.4 权重初始化角度 4.5 网络结构的角度 4.6 损失函数的角度 五、总结 一、概述   深度网络容易出现梯度不稳（梯度消失、梯度爆炸）问题，造成网络学习停滞。 梯度消失：  

>>阅读原文<<