神经网络训练过程中验证集损失小于训练集损失的三大主要原因

       相信不少人都发现过，在训练自己搭建的神经网络的过程中，验证集的损失居然会小于训练集(见图1)。按照我个人的理解，理论上讲，验证集的损失应该是不小于训练集的。那么为什么会出现这种违背常规认知的现象呢？ 图1   本文参考网络其他资料，总结了三个主要的原因： 1. 在训练的过程中应用了正则化，但是在对验证集计算损失的时候没有采用正则化。比如在损失函数中加入了L1，L2等正则项，或者dro

>>阅读原文<<