神经网络训练加速、增加稀疏性操作（Dropout、GN、BN、LRN）

增加稀疏性（降低过拟合风险）----Dropout、LRN Dropout         Dropout是怎么做到防止过拟合的呢？首先，想象我们现在只训练一个特定的网络，当迭代次数增多的时候，可能出现网络对训练集拟合的很好，但是对验证集的拟合程度很差的情况。所以，我们有了这样的想法：可不可以让每迭代随机的去更新网络参数，引入这样的随机性就可以增加网络generalize 的能力。所以就有了dro

>>阅读原文<<