训练中Loss为Nan的原因，梯度消失或者爆炸的优化

向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程   公众号：datayx 现象 如何确定是否出现梯度爆炸？ 在训练过程中出现梯度爆炸会伴随一些细微的信号，如： （1）模型无法从训练数据中获得更新； （2）模型不稳定，导致更新过程中的损失出现显著变化； （3）训练过程中，模型的损失变为Nan。 梯度消失与梯度爆炸原因 首先，来看神经网络更新梯度的原理，即反向传播算法。

>>阅读原文<<