深度学习中的常见正则化方法(Regularization)以及优化器中的WeightDecay参数详解

深度学习中的正则化 什么是正则化 一些常用的正则化方法 权重衰减 L1正则化 L2正则化 Elastic网络正则化 随机失活(dropout) 正则化方法的使用 pytorch使用权重衰减(Wight Decay) 附录 什么是正则化 “正则化"这个词听起来十分的高大上,但是我们可以简单的理解成为"约束”。 正则化是对参数的一种约束，在训练的过程中，特别是深度神经网络，本身网络层中的参数很多了、,

>>阅读原文<<