深度学习中nan和inf的解决

文章目录 一、 nan 和inf产生缘由 二、解决方法 2.1 学习率要设置小一些 2.2使用带上限的激活函数，如tf.nn.relu6 2.3检查输入数据中是否有nan或inf 2.4对loss部分作处理 2.5 对梯度的处理 2.6 手动梯度重写 2.7 其它操做 总结 一、 nan 和inf产生缘由 搭建神经网络后产生的，在训练早期，模型参数可能不是很合适，会出现梯度消失和爆炸的状况，特别是

>>阅读原文<<