dropout的隐式偏置（为什么要使用dropout）

现代的深度神经网络通常具有海量参数，甚至高于训练数据的大小。这就意味着，这些深度网络有着强烈的过拟合倾向。缓解这一倾向的技术有很多，包括L1、L2正则、及早停止、组归一化，以及dropout。在训练阶段，dropout随机丢弃隐藏神经元及其连接，以打破神经元间的共同适应。尽管dropout在深度神经网络的训练中取得了巨大的成功，关于dropout如何在深度学习中提供正则化机制，目前这方面的理论解释

>>阅读原文<<