机器学习：支持向量机4

本文来自同步博客。

 

前面介绍的SVM，不管是线性可分仍是非线性可分，称为Hard Margin SVM，都要求对输入数据进行精确划分。咱们不难想到这类SVM存在过拟合这个问题。若是输入数据自己就存在偏差，精确划分反而是没意义的。本篇文章就如何处理过拟合问题，介绍即所谓的Soft Margin SVM。

数学推导

引入衡量偏差的变量 -\xi\_i-−ξ_i−。-\xi\_i-−ξ_i−表示不能被正确分类的样本点距离正确一侧边界的距离，距离越大表示错误越大，即-\xi\_i-−ξ_i−越大。若是样本点能被正确分类，则-\xi\_i = 0-−ξ_i=0−。故有-\xi\_i \ge 0-−ξ_i≥0−。

那么，原来能经过求解函数-\frac{1}{2}\vec{w}^{2}-−21​w2−在最小化下的参数-\vec{\alpha}-−α−，现在须要增长可以体现偏差的约束条件再求解。

能够以下构造函数来描述偏差：
\frac{1}{2}\vec{w}^{2} + C\sum_{i}^{n}{\xi\_i}21​w2+Ci∑n​ξ_i

这个函数把全部输入数据的偏差叠加在一块儿，即-\sum_{i}^{n}{\xi\_i}-−∑in​ξ_i−。而后用参数C来控制全部偏差的权重。若是C很大，表示即便有很小的偏差出现都会严重影响目标函数。

结合以前文章提到的知识，能够构造拉格朗日方程：

L(\vec{w}, b, \vec{\xi}, \vec{\alpha}, \vec{\beta}) = \frac{1}{2}\vec{w}^{T}\vec{w} + C\sum_{i}^{n}{\xi\_i} - \sum\_{i}^{n}{\alpha\_i[y\_i(\vec{w}^{T}\vec{x\_i}+b)-1+\xi\_i]} - \sum\_{i}^{n}\beta\_i\xi\_iL(w,b,ξ​,α,β​)=21​wTw+Ci∑n​ξ_i−∑_inα_i[y_i(wTx_i​+b)−1+ξ_i]−∑_inβ_iξ_i
其中，
\alpha\_i \ge 0, \beta\_i \ge 0, i = 1,2...nα_i≥0,β_i≥0,i=1,2...n

而后利用对偶思想求解-\vec{w}, b, \xi-−w,b,ξ−的导数，并让他们等于0。以下：

\begin{array}{lcl} \frac{\partial L}{\partial \vec{w}} = \vec{w} - \sum\_{i}^{n}\alpha\_{i} y\_{i} \vec{x}\_i = 0 \\\\ \frac{\partial L}{\partial b} = - \sum\_{i}^{n}\alpha\_{i} y\_{i} = 0 \\\\ \frac{\partial L}{\partial \xi\_{i}} = C - \alpha\_{i} - \beta\_{i} = 0 \end{array}∂w∂L​=w−∑_inα_iy_ix_i=0∂b∂L​=−∑_inα_iy_i=0∂ξ_i∂L​=C−α_i−β_i=0​

代入上面的拉格朗日方程，能够获得二项规划方程。最后求解-\vec{\alpha}-−α−，可得-\vec{w}-−w−和-b-−b−。二项规划方程以下：
公式输入有误

其中-\vec{w}-−w−以下：
\vec{w} = \sum\_{i}^{n}\alpha\_{i}y\_{i}\vec{x}\_{i}w=∑_inα_iy_ix_i

-b-−b−可利用落于边界上的支持向量求解。

比较

看到二项规划那一步，咱们能够发现Hard Margin SVM和Soft Margin SVM的差异仅仅是-\alpha\_i-−α_i−的取值范围上有差别。Hard Margin SVM的约束条件是-\alpha\_i \ge 0-−α_i≥0−；Soft Margin SVM的约束条件是-C \ge \alpha\_i \ge 0-−C≥α_i≥0−。

咱们知道-\alpha\_{i}-−α_i−仅在-\vec{x}-−x−为支持向量时值大于零。而在这里，-\alpha\_{i}-−α_i−多了一个上限C。由于-C = \alpha\_{i} + \beta\_{i}-−C=α_i+β_i−，因此有下面结论：

若是-\alpha\_{i} = 0-−α_i=0−，表示该点为非支持向量。

若是- 0 \lt \alpha\_{i} \lt C-−0<α_i<C−，则-\beta\_{i} \gt 0-−β_i>0−，对应的-\xi\_{i} = 0-−ξ_i=0−，表示该点为边界支持向量。以下图：

 

image.png

 

若是-\alpha\_{i} = C-−α_i=C−，则-\beta\_{i} = 0-−β_i=0−，对应的-\xi\_{i} \gt 0-−ξ_i>0−，表示该点违反了最大边界的原则，属于噪声点。

 

image.png