机器学习基石笔记14——机器能够怎样学得更好（2）

转载请注明出处：http://www.cnblogs.com/ymingjingr/p/4271742.html

目录

机器学习基石笔记1——在什么时候可使用机器学习(1)

机器学习基石笔记2——在什么时候可使用机器学习(2)

机器学习基石笔记3——在什么时候可使用机器学习(3)(修改版)

机器学习基石笔记4——在什么时候可使用机器学习（4）

机器学习基石笔记5——为何机器能够学习（1）

机器学习基石笔记6——为何机器能够学习（2）

机器学习基石笔记7——为何机器能够学习（3）

机器学习基石笔记8——为何机器能够学习（4）

机器学习基石笔记9——机器能够怎样学习（1）

机器学习基石笔记10——机器能够怎样学习（2）

机器学习基石笔记11——机器能够怎样学习（3）

机器学习基石笔记12——机器能够怎样学习（4）

机器学习基石笔记13——机器能够怎样学得更好（1）

机器学习基石笔记14——机器能够怎样学得更好（2）

机器学习基石笔记15——机器能够怎样学得更好（3）

机器学习基石笔记16——机器能够怎样学得更好（4）

十4、Regularization

正则化。

14.1 Regularized Hypothesis Set

正则化假设。

上一章中提到了防止过拟合的五种措施，本章将介绍其中一种措施，正则化（Regularization）。

正则化的主要思想：将假设函从高次多项式的数降至低次，如同开车时的踩刹车，将速度下降，效果图如图14-1所示，右图表示高次多项式函数，明显产生了过拟合现象，而左图的表示使用正则化后的低次函数。

 

图14-1 正则化拟合与过拟合

 

已知高次多项式包含低次多项式，所以高次函数和低次函数的关系如图14-2所示，本章的内容是在使用高次函数过拟合时，如何将假设函数下降为低次，即如何从外围的大圈中回归到内部的小圈。

 

图14-2 高次函数与低次函数的关系图

 

"正则化"这个词来自于不适定问题（ill-posed problem）的函数逼近（function approximation），即在函数逼近中出现多个解，如何选择解的问题。

如何降次？该问题使用到前几章中提到的多项式转换与线性回归的知识，把降次的问题转换成带有限制（constraint）条件的问题。如下以10次多项式与二次式为例了解正则化，假设w的表达式分别如公式14-1与公式14-2。

 

    （公式14-1）

 

    （公式14-2）

 

公式14-2可使用公式14-1加上以下限制条件表示， ，

 

所以10次多项式的假设空间与最小 的表达式分别如公式14-3和公式14-4。

 

    （公式14-3）

 

    （公式14-4）

 

经过上述结论，2次式的假设空间与最小的表达式分别如公式14-5和公式14-6。

 

    （公式14-5）

 

    （公式14-6）

 

若是将的条件设计的更宽松，表示成的形式，如公式14-7所示。

 

    （公式14-7）

 

所以求的最优化的问题如公式14-8所示。

 

    （公式14-8）

 

该假设空间与、的关系如公式14-9所示。

 

    （公式14-9）

 

假设空间又被称做稀疏（sparse）的假设空间，由于不少参数为0。注意公式14-8限制中的 函数，代表该最优化问题为一个NP难问题。所以必须继续改进假设函数，产生假设空间如公式14-10所示。

 

    （公式14-10）

 

假设空间最优化的问题如公式14-11所示。

 

    （公式14-11）

 

与有重叠部分，可是并不彻底一致。随着C的增大， 的假设空间也在增大，能够获得如公式14-12所示。

 

    （公式14-12）

 

称假设空间为正则化假设空间，即假设限制条件的假设空间。正则化假设空间中最好的假设用符号 表示。

 

14.2 Weight Decay Regularization

权值衰减正则化。

为了表述的简便，将上一节的最优化公式14-11写成向量矩阵的形式，如公式14-13所示。

 

    （公式14-13）

 

插一句，一般解释带有限制条件的最优化问题都会引用拉格朗日函数，林老师更深刻的解释了拉格朗日乘子背后的因素。

首先绘制有限制条件的最优化示意图，图中蓝色部分为，红色部分为限制条件，从表达公式不可贵出二者一个为椭圆，一个为圆形（在高维空间中式超球体）。

 

图14-4 有限制条件的最优化示意图

 

从前面的章节中了解在求解最小时，可用梯度的反方向，即 做为降低方向，可是与回归问题还有一些不一样，此处多了限制条件，所以降低的方向不能够超出限制的范围，如图14-3中红色的向量为限制圆球切线的法向量，朝着该方向降低便超出了限制的范围，所以只能够沿着球切线的方向滚动，如图14-3中绿色的向量。什么时候降到最小？即实际滚动方向（图中蓝色的向量）不存在与球切线方向相同的份量，换句话说与球切线的法向量w相平行，如公式14-14所示，其中表示正则化最优解。

 

    （公式14-14）

 

加入拉格朗日乘子 ，可写成等式的形式，如公式14-15.

 

    （公式14-15）

 

将线性回归中求得的表达式（9.2节中求导过程）代入公式14-15，得公式14-16.

 

    （公式14-16）

 

求出的表达式如公式14-17。

 

    （公式14-17）

 

其中是半正定的，所以只要，则保证为正定矩阵，必可逆。该回归形式被称为岭回归（ridge regression）。

是否还记得线性回归的直接形式，如公式14-18所示。

 

    （公式14-18）

 

对公式14-15作成积分得公式14-19。

 

        （公式14-19）

 

求公式14-19的最小解问题等价于公式14-19。其中该表达式称为增广错误（augmented error），用 表示，其中为正则化项（regularizer）。用无限制条件的取代了上节中提到的有限制条件的。实际上使用了拉格朗日函数，但林老师是反推过去，之因此叫作增广错误，是由于比传统的多了一正则化项。在或时（的状况是线性回归的求解），最小w的求解公式如公式14-20所示。

 

    （公式14-20）

 

所以，不须要给出上一节中有条件的最小化问题中包含的参数C，而只须要给出增广错误中的参数。

观察参数对最终求得的的影响，如图14-5。

 

图14-5 参数对最终求得的的影响

 

在时，过拟合，随着的不断增大变成了欠拟合状态。越大的对应着越短的权值向量w，同时也对应着越小的约束半径C。（记得14.1节中如何处理欠拟合吗？将C尽可能缩小，准确的说寻找小的权值向量w），所以这种将w变小的正则化，即加上的正则化称为权重衰减（weight-decay）正则化。此种正则化，能够和任意的转换函数及任意的线性模型结合。

注意：在作多项式转换时，假设 ，多项式转换函数为 则在高次项 上时，数值很是小，为了和低次项对应的权值向量份量产生一致的影响力，则该项的权值 必定很是大，可是正则化求解须要特别小的权值向量w，所以须要转换后的多项式各项线性无关，即转换函数为，其各项为正交基函数（orthonormal basis functions），此多项式称为勒让德多项式（Legendre polynomials），多项式的前5项如图14-6所示。

 

图14-6 勒让德多项式的前5项表示

 

14.3 Regularization and VC Theory

正则化与VC理论。

本节介绍正则化与VC理论的关系。即从VC理论的角度说明为何正则化的效果好（14.1节从过拟合的角度介绍正则化好的缘由）。

最小化带限制条件的与最小化等价，由于参数C相似与参数 。经过7.4节的知识得知，的上限能够表示为公式14-21的形式。

 

    （公式14-21）

 

所以，VC限制间接的保证了最小化能够获得最小的。

便于观察对比，将的表达式重复写一遍，如公式14-22。

 

    （公式14-22）

 

上限更通常的形式能够写成公式14-23。

 

    （14-23）

 

经过公式14-22与公式14-23的对比，更容易理解最小化能得到比最小化更好效果的缘由。如公式14-22中正则化项表示一个假设函数的复杂度；而公式14-23中的表示整个假设空间的复杂度，若是（，其中表示该假设的复杂度）很好的表明，则比表现的更好。

上述是经过VC限制经过一个启发式的方式说明正则化的优点，接下来经过VC维阐述正则化的好处。

将最小化的形式写成公式14-24。

 

    （公式14-24）

 

按第七章的理论，VC维 ， 在求解最小化时全部的假设函数 都将被考虑。可是由于参数C或者更直接的来讲参数 的限制，实际被考虑的只有 。所以有效的VC维 与两部分相关：假设空间H及算法A。实际的VC维很小意味着模型复杂度很低。

 

14.4 General Regularizers

通常化的正则化项。

本章的前几节介绍的正则化项是权值衰减的正则化项（weight-decay (L2) regularizer），或称为L2正则化项，标量形式为 ，向量形式为。那么更通常的正则化项应该如何设计，或者通常化的正则化项的设计原则是什么？主要分为三点，以下：

依据目标函数（target-dependent），即根据目标函数的性质设计正则化项，如某目标函数是对称函数，所以权值向量的全部奇数份量应被抑制，能够设计成 的形式，在奇数时增长；

能够说得通（plausible）：正则化项应尽量地平滑（smooth）或简单（simpler），由于不管是随机性噪音仍是肯定性噪音都不是平滑的。平滑表示可微，如L2。简单表示容易求解，如L1正则化项或稀疏（sparsity）正则化项： ，稍后介绍；

友好：易于最优化的求解。如L2。

即便设计的正则化项很差也不用担忧，由于还存在一个参数 ，当其为0时，则正则化项不起做用。

回忆8.3节，错误衡量的设计原则，与此相似，依据用户（user-dependent），说得通，友好。

所以最终的增广错误由错误函数和正则化项两部分组成，如公式14-25所示。

 

        （公式14-25）

 

经过比较经常使用的两种正则化项（L2和L1）具体的解释上述设计原则。

L2的正则化示意图如图14-7所示，正则化项如公式14-26。

 

图14-7 L2正则化示意图

 

        （公式14-26）

 

该正则化项在为凸函数，在每一个位置均可以微分，所以比较容易计算。

再介绍一种新的正则化项L1，其示意图如图14-8所示正则化项如公式14-27。

 

图14-8 L1正则化项示意图

 

        （公式14-27）

 

一样也是凸图形，可是并非全部的位置均可微，如转角处。为什么成为稀疏？假设菱形法相w全是不为零的份量，所以微分得的向量为份量全为1的向量。若是与该全为1的向量不平行，则向量一直会沿着菱形边界移动到顶点处，所以在顶点处产生最优解，最优解含有值为0的份量，所以为稀疏的解，计算速度快。

在结束本章前，观察在不一样噪音状况下，参数如何选择。目标函数设计成15次多项式函数，如图14-9表示固定肯定性噪音，不一样随机性噪音下，参数最佳选择，横坐标表示参数的选择，纵坐标表示 ，其中加粗的点表示在该种噪音状况下参数的最佳取值。（此处由于是为了观察在不一样噪音下如何选择参数，目标函数是已知的，因此能够求出，现实中是不可能的，下一个例子也是如此，再也不重复解释）

 

图14-9 不一样随机性噪音下参数的选择

 

目标函数设计成15次多项式函数，如图14-10表示固定随机性噪音，不一样肯定性噪音下，参数最佳选择，横坐标表示参数的选择，纵坐标表示，其中加粗的点表示在该种噪音状况下参数的最佳取值。

 

图14-10不一样肯定性噪音下参数的选择

 

从上述两个图中不可贵出，越大的噪音须要越大的正则化，这如同越颠簸的路，越须要踩刹车同样。可是一个更重要的问题却没有解决，即在噪音未知的状况下，如何选择参数，这是下章的内容。