李飞飞机器学习课笔记

正则化 正则化因子是为了W能更好地拟合数据并且优化W，事实上正则化用来权衡训练损失及用于测试集的泛化损失的。它将和前面的损失函数前面的部分形成竞争，很多时候减少前面会导致后面增加，所以要使L尽可能小，必须前面和后面都同时减少。L2正则化是最常用的方式。 下图中的例子能很好的说明正则化的好处。如图，w1和w2的带来的损失值都是1，但是w2明显优于w1，因为它综合考虑了所有因素的信息，从正则化值来看，

>>阅读原文<<