[机器学习]支持向量机3——引入松弛因子

支持向量机1——间隔和支持向量

支持向量机2——对偶问题

支持向量机3——引入松弛因子

支持向量机4——SMO算法
很多情况下，一个分离超平面并不能完全将训练数据分成两部分。那么我们这时可以允许出现一些误差。故引入松弛因子。
从下图中我们可以看到一些样本不能满足间隔大于1这个条件。

我们令松弛因子： ζi≥0 ${\zeta }_i\ge 0$，使得目标函数加生松弛因子 ζi ${\zeta }_i$大于等于1。即 yi(wTxi+b)≥1−ζi $y_i(w^T{x}_i+b)\ge 1-{\zeta }_i$，同时为松弛因子加入一个代价，以免松弛因子过分大。

minζ,ω,b12||ω||2+C∑i=1mζist.yi(wTxi+b)≥1−ζii=1,2,...mζi≥0 $$\begin{gathered} \underset{\zeta ,\omega ,b}{min}\frac{1}{2}||\omega |{|}^2+C\underset{i=1}{\overset{m}{\sum }}{\zeta }_i \\ st.y_i(w^T{x}_i+b)\ge 1-{\zeta }_{i}i=1,2,...m \\ {\zeta }_i\ge 0 \end{gathered}$$

其中C为惩罚因子（C>0），C的值越大惩罚的力度越大，当C趋于无穷大，那么就是线性可分问题。
拉格朗日函数变成：

L(ω,b,ζ,α,r)=12||ω||2+C∑i=1mζi−∑i=1mαi[yi(wTxi+b)−1+ζi]−∑i=1mriζi(3.1) $$\begin{array}{}\text{(3.1)}& L(\omega ,b,\zeta ,\alpha ,r)=\frac{1}{2}||\omega |{|}^2+C\underset{i=1}{\overset{m}{\sum }}{\zeta }_i-\underset{i=1}{\overset{m}{\sum }}{\alpha }_i[y_i(w^T{x}_i+b)-1+{\zeta }_i]-\underset{i=1}{\overset{m}{\sum }}{r}_i{\zeta }_i\end{array}$$

KKT条件：

• αi≥0 ${\alpha }_i\ge 0$
• yi(ωTxi+b)−1+ζi≥0 $y_i({\omega }^T{x}_i+b)-1+{\zeta }_i\ge 0$
• α[yi(ωTxi+b)−1+ζi]=0 $\alpha [y_i({\omega }^T{x}_i+b)-1+{\zeta }_i]=0$
• ri≥0 $r_i\ge 0$
• riζI=0 $r_i{\zeta }_I=0$

∂L∂ω=0⇒ω=∑i=1mαiyixi∂L∂ω=0⇒∑i=1mαiyi=0∂L∂ζi=0⇒αi=C−ri(3.2) $$\begin{array}{}\text{(3.2)}& \begin{array}{rl}& \frac{\mathrm{\partial }L}{\mathrm{\partial }\omega }=0\Rightarrow \omega =\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i{x}_i\\ & \frac{\mathrm{\partial }L}{\mathrm{\partial }\omega }=0\Rightarrow \underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i=0\\ & \frac{\mathrm{\partial }L}{\mathrm{\partial }{\zeta }_i}=0\Rightarrow {\alpha }_i=C-r_i\end{array}\end{array}$$

将 (3.2) $(3.2)$得到的带入 (3.1) $(3.1)$中，得出:

maxαW(α)=∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxixjst. ∑i=1mαiyi=00≤αi≤C i=1,2,...m(3.3) $$\begin{gathered} \begin{array}{}\text{(3.3)}& \underset{\alpha }{max}W(\alpha )=\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-\frac{1}{2}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j \\ st.\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le Ci=1,2,...m\end{array} \end{gathered}$$

此时KKT条件：

αi=0αi=C0<αi<C⇒yi(ωTxi+b)≥1⇒yi(ωTxi+b)≤1⇒yi(ωTxi+b)=1(3.4) $$\begin{array}{}\text{(3.4)}& \begin{array}{rl}{\alpha }_i=0& \Rightarrow y_i({\omega }^T{x}_i+b)\ge 1\\ {\alpha }_i=C& \Rightarrow y_i({\omega }^T{x}_i+b)\le 1\\ 0<{\alpha }_i<C& \Rightarrow y_i({\omega }^T{x}_i+b)=1\end{array}\end{array}$$

参考资料

1.https://blog.csdn.net/luoshixian099/article/details/51073885#comments