【PyTorch 深度学习】5.PyTorch实现L1，L2正则化以及Dropout

1.Dropout原理 Droupout是指在深度网络的训练中，以一定的概率随机地“临时丢弃”一部分神经元。 具体来讲，Dropout作用于每份小批量训练数据，由于其随机丢弃部分神经元的机制，相当于每次迭代都在训练不同结构的神经网络。类似于Bagging方法，dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 Dropout的具体实现中，要求某个神经元节点激活值以一定的概率p被“

>>阅读原文<<