Loss为NAN的可能原因

前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。 另外，这种情况很容易

>>阅读原文<<