Dropout

在训练网络模型的时候，如果训练集太少，要训练的参数又很多，则容易产生过拟合（模型对训练集具有较高的识别率，但是对测试集效果则会很差，这时候模型的泛化能力很差）。此时我们常用解决的办法就是在损失函数中再添加一个惩罚项，通过设置一个惩罚系数，对模型中的参数进行“惩罚”，从而防止因为模型中的大量的参数过大，而导致模型的复杂度上升，最后导致训练出的模型出现过拟合。如果惩罚系数越大，则模型的复杂度就会越低，

>>阅读原文<<