深度学习网络训练中出现loss函数为nan的原因

说法一： 说明训练不收敛了, 学习率太大，步子迈的太大导致梯度爆炸等都是有可能的，另外也有可能是网络的问题，网络结构设计的有问题。 我现在的采用方式是： 1. 弱化场景，将你的样本简化，各个学习率等参数采用典型配置，比如10万样本都是同一张复制的，让这个网络去拟合，如果有问题，则是网络的问题。否则则是各个参数的问题。 2. 如果是网络的问题，则通过不断加大样本的复杂度和调整网络（调整拟合能力）来改

>>阅读原文<<