防止过拟合：L2 Regularization（权重衰减）

L2正则化 就是在原本的（成本、代价）损失函数后面加上一个正则化项。 L2正则化，也成为weight decay，权重衰减 L2正则化是为了防止训练网络的时候出现“过拟合”，现在来理解一下网络的“欠拟合”与“过拟合”。 数学上从两个角度来衡量一个变量的误差： 偏差bias 方差variance 神经网络中有 train error：训练误差，训练过程其实就是根据“损失”来动态调整模型参数。随机梯度

>>阅读原文<<