L1正则化与L2正则化的理解

1、归纳：

L1和L2是正则化项，又叫作罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。

2、区别：

　　1.L1是模型各个参数的绝对值之和。

　　　L2是模型各个参数的平方和的开方值。

　　2.L1会趋向于产生少许的特征，而其余的特征都是0.

　　　 由于最优的参数值很大几率出如今坐标轴上，这样就会致使某一维的权重为0 ，产生稀疏权重矩阵

　　   L2会选择更多的特征，这些特征都会接近于0。  

          最优的参数值很小几率出如今坐标轴上，所以每一维的参数都不会是0。当最小化||w||时，就会使每一项趋近于0

3、再讨论几个问题

1.为何参数越小表明模型越简单？

　　越是复杂的模型，越是尝试对全部样本进行拟合，包括异常点。这就会形成在较小的区间中产生较大的波动，这个较大的波动也会反映在这个区间的导数比较大。

　　只有越大的参数才可能产生较大的导数。所以参数越小，模型就越简单。

2.实现参数的稀疏有什么好处？

　　由于参数的稀疏，在必定程度上实现了特征的选择。通常而言，大部分特征对模型是没有贡献的。这些没有用的特征虽然能够减小训练集上的偏差，可是对测试集的样本，反而会产生干扰。稀疏参数的引入，能够将那些无用的特征的权重置为0.

3.L1范数和L2范数为何能够避免过拟合？

　　

　　加入正则化项就是在原来目标函数的基础上加入了约束。当目标函数的等高线和L1,L2范数函数第一次相交时，获得最优解。

　　L1范数：

　　L1范数符合拉普拉斯分布，是不彻底可微的。表如今图像上会有不少角出现。这些角和目标函数的接触机会远大于其余部分。就会形成最优值出如今坐标轴上，所以就会致使某一维的权重为0 ，产生稀疏权重矩阵，进而防止过拟合。

　　L2范数：

　　L2范数符合高斯分布，是彻底可微的。和L1相比，图像上的棱角被圆滑了不少。通常最优值不会在坐标轴上出现。在最小化正则项时，能够是参数不断趋向于0.最后活的很小的参数。

　　假设要求的参数为θθ，hθ(x)hθ(x)是咱们的假设函数，那么线性回归的代价函数以下：

　　

　　那么在梯度降低法中，最终用于迭代计算参数θθ的迭代式为：

　　

　　若是在原始代价函数以后添加L2正则化，则迭代公式会变成下面的样子：

　　

　　每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减少，所以总得来看，θ是不断减少的。