机器学习中几乎均可以看到损失函数后面会添加一个额外项,经常使用的额外项通常有两种,通常英文称做 -norm 和 -norm,中文称做 L1正则化 和 L2正则化,或者 L1范数 和 L2范数。html
L1正则化和L2正则化能够看作是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数作一些限制。对于线性回归模型,使用L1正则化的模型建叫作Lasso回归,使用L2正则化的模型叫作Ridge回归(岭回归)。下图是Python中Lasso回归的损失函数,式中加号后面一项 即为L1正则化项。git
下图是Python中Ridge回归的损失函数,式中加号后面一项 即为L2正则化项。web
通常回归分析中回归 表示特征的系数,从上式能够看到正则化项是对系数作了处理(限制)。L1正则化和L2正则化的说明以下:算法
通常都会在正则化项以前添加一个系数,Python中用 表示,一些文章也用 表示。这个系数须要用户指定。app
那添加L1和L2正则化有什么用?下面是L1正则化和L2正则化的做用,这些表述能够在不少文章中找到。机器学习
上面提到L1正则化有助于生成一个稀疏权值矩阵,进而能够用于特征选择。为何要生成一个稀疏矩阵?ide
稀疏矩阵指的是不少元素为0,只有少数元素是非零值的矩阵,即获得的线性回归模型的大部分系数都是0. 一般机器学习中特征数量不少,例如文本处理时,若是将一个词组(term)做为一个特征,那么特征数量会达到上万个(bigram)。在预测或分类时,那么多特征显然难以选择,可是若是代入这些特征获得的模型是一个稀疏模型,表示只有少数特征对这个模型有贡献,绝大部分特征是没有贡献的,或者贡献微小(由于它们前面的系数是0或者是很小的值,即便去掉对模型也没有什么影响),此时咱们就能够只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。svg
这部份内容将解释为何L1正则化能够产生稀疏模型(L1是怎么让系数等于零的),以及为何L2正则化能够防止过拟合。函数
##L1正则化和特征选择
假设有以下带L1正则化的损失函数:
其中
是原始的损失函数,加号后面的一项是L1正则化项,
是正则化系数。注意到L1正则化是权值的绝对值之和,
是带有绝对值符号的函数,所以
是不彻底可微的。机器学习的任务就是要经过一些方法(好比梯度降低)求出损失函数的最小值。当咱们在原始损失函数
后添加L1正则化项时,至关于对
作了一个约束。令
,则
,此时咱们的任务变成在
约束下求出
取最小值的解。考虑二维的状况,即只有两个权值
和
,此时
对于梯度降低法,求解
的过程能够画出等值线,同时L1正则化的函数
也能够在
的二维平面上画出来。以下图:学习
图1 L1正则化
图中等值线是 的等值线,黑色方形是 函数的图形。在图中,当 等值线与 图形首次相交的地方就是最优解。上图中 与 在 的一个顶点处相交,这个顶点就是最优解。注意到这个顶点的值是 。能够直观想象,由于 函数有不少『突出的角』(二维状况下四个,多维状况下更多), 与这些角接触的机率会远大于与 其它部位接触的机率,而在这些角上,会有不少权值等于0,这就是为何L1正则化能够产生稀疏模型,进而能够用于特征选择。
而正则化前面的系数 ,能够控制 图形的大小。 越小, 的图形越大(上图中的黑色方框); 越大, 的图形就越小,能够小到黑色方框只超出原点范围一点点,这是最优势的值 中的 能够取到很小的值。
相似,假设有以下带L2正则化的损失函数:
一样能够画出他们在二维平面上的图形,以下:
图2 L2正则化
二维平面下L2正则化的函数图形是个圆,与方形相比,被磨去了棱角。所以 与 相交时使得 或 等于零的机率小了许多,这就是为何L2正则化不具备稀疏性的缘由。
拟合过程当中一般都倾向于让权值尽量小,最后构造一个全部参数都比较小的模型。由于通常认为参数值小的模型比较简单,能适应不一样的数据集,也在必定程度上避免了过拟合现象。能够设想一下对于一个线性回归方程,若参数很大,那么只要数据偏移一点点,就会对结果形成很大的影响;但若是参数足够小,数据偏移得多一点也不会对结果形成什么影响,专业一点的说法是『抗扰动能力强』。
那为何L2正则化能够得到值很小的参数?
以线性回归中的梯度降低法为例。假设要求的参数为 , 是咱们的假设函数。线性回归通常使用平方差损失函数。单个样本的平方差是 ,若是考虑全部样本,损失函数是对每一个样本的平方差求和,假设有 个样本,线性回归的代价函数以下,为了后续处理方便,乘以一个常数 :
在梯度降低算法中,须要先对参数求导,获得梯度。梯度自己是上升最快的方向,为了让损失尽量小,沿梯度的负方向更新参数便可。
对于单个样本,先对某个参数 求导:
注意到 的表达式是 . 单个样本对某个参数 求导, . 最终(3.1)式结果以下:
在考虑全部样本的状况,将每一个样本对 的导数求和便可,获得下式:
梯度降低算法中,为了尽快收敛,会沿梯度的负方向更新参数,所以在(3.3)式前添加一个负号,并乘以一个系数 (即学习率),获得最终用于迭代计算参数 的形式:
其中
是learning rate. 上式是没有添加L2正则化项的迭代公式,若是在原始代价函数以后添加L2正则化,则迭代公式会变成下面的样子:
其中 就是正则化参数。从上式能够看到,与未添加L2正则化的迭代公式相比,每一次迭代, 都要先乘以一个小于1的因子,从而使得 不断减少,所以总得来看, 是不断减少的。
最开始也提到L1正则化必定程度上也能够防止过拟合。以前作了解释,当L1的正则化系数很小时,获得的最优解会很小,能够达到和L2正则化相似的效果。
一般越大的 可让代价函数在参数为0时取到最小值。下面是一个简单的例子,这个例子来自Quora上的问答。为了方便叙述,一些符号跟这篇帖子的符号保持一致。
假设有以下带L1正则化项的代价函数:
其中
是要估计的参数,至关于上文中提到的
以及
. 注意到L1正则化在某些位置是不可导的,当
足够大时可使得
在
时取到最小值。以下图:
图3 L1正则化参数的选择
分别取 和 ,能够看到越大的 越容易使 在 时取到最小值。
从公式5能够看到, 越大, 衰减得越快。另外一个理解能够参考图2, 越大,L2圆的半径越小,最后求得代价函数最值时各参数也会变得很小。
过拟合的解释:
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html
正则化的解释:
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html
正则化的解释:
http://blog.csdn.net/u012162613/article/details/44261657
正则化的数学解释(一些图来源于这里):
http://blog.csdn.net/zouxy09/article/details/24971995