【卷积神经网络】针对训练过程当中Loss忽然变大问题的思考

在神经网络的训练过程当中，正常状况下总体的过程是一个Loss不断降低的过程，然而在训练过程当中每每存在一些batch_size输入时，前向传播获得的Loss忽然变大的情景。网络 在训练神经网络过程当中，通过softmax函数输出几率后，当当前最大几率对应的类别与训练标签一致时，损失Loss每每较小，而通过softmax输出时，训练标签所对应的几率softmax几率较小，此时的Loss计算结果每每很

>>阅读原文<<