过拟合与L1,L2正则化

一、为什么会产生过拟合？ 我们常见的损失函数如下所示： 周志华的《机器学习》有一句话，“当样本特征很多，而样本数相对较少时，上式很容易陷入过拟合”。关于这就话，我的理解是，当特征较多时，对应的参数W的维度就会越高，越高的维度就越容易拟合出越高维度，越复杂的图形。而当样本数很少，但是又具有拟合复杂图形的能力时，系统就会精确拟合全部特征点，而陷入过拟合，如下图 二、什么是L1，L2正则化 L1范数是指

>>阅读原文<<