神经网络模型、loss不收敛、不下降原因和解决办法

一、模型不收敛 主要有以下几个原因： 1、learning rate设大了会带来跑飞（loss突然一直很大）的问题      这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=In

>>阅读原文<<