SVM:硬/最大间隔SVM（手撕原理）

示意图

二分类问题描述

$Data=\{(x_i, y_i)\}_{i=1}^N,x_i\in\R^p,y_i\in\{-1,+1\}$Data={(xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{−1,+1}
由于超平面 $\omega^Tx+b$ωTx+b有很多个，要找到最好的一个超平面，以得到最低的泛化误差（或测试误差、期望损失）。

hard-margin SVM判别模型，与概率无关：
$f(\omega)=sign(\omega^Tx+b)=\begin{cases}\omega^Tx+b>0,f(\omega)=1\\\omega^Tx+b<0,f(\omega)=-1\end{cases}$f(ω)=sign(ωTx+b)={ωTx+b>0,f(ω)=1ωTx+b<0,f(ω)=−1​
目标函数：
$\begin{cases}max\space margin(\omega,b) \\ s.t.\space \begin{cases}\omega^Tx_i+b>0,y_i=1\\\omega^Tx_i+b<0,y_i=-1\end{cases}\Rightarrow y_i(\omega^Tx_i+b)>0,i=1...,N\end{cases}$⎩⎪⎨⎪⎧​max margin(ω,b)s.t. {ωTxi​+b>0,yi​=1ωTxi​+b<0,yi​=−1​⇒yi​(ωTxi​+b)>0,i=1...,N​
即， $\begin{cases}max\space margin(\omega,b) \\ s.t.\space y_i(\omega^Tx_i+b)>0,i=1,...,N\end{cases}${max margin(ω,b)s.t. yi​(ωTxi​+b)>0,i=1,...,N​

什么是margin？
答：一共有N个点到直线的距离，最小的那个就是margin。点到直线距离公式，
$margin(\omega,b)={min \atop \omega,b,x_i}distance(\omega,b,x_i)={min \atop \omega,b,x_i}{\frac 1 {\parallel\omega\parallel}}\mid\omega^Tx_i+b\mid$margin(ω,b)=ω,b,xi​min​distance(ω,b,xi​)=ω,b,xi​min​∥ω∥1​∣ωTxi​+b∣

则上式写为：
$\begin{cases}{max \atop \omega,b}{min \atop \omega,b,x_i}{\frac 1 {\parallel\omega\parallel}}\mid\omega^Tx_i+b\mid\space ={max \atop \omega,b}{min \atop x_i}{\frac 1 {\parallel\omega\parallel}}\mid\omega^Tx_i+b\mid={max \atop \omega,b}{\frac 1 {\parallel\omega\parallel}}{min \atop x_i}y_i(\omega^Tx_i+b)\Larr y_i\in\{-1,+1\} \\ s.t.\space y_i(\omega^Tx_i+b)>0\end{cases}${ω,bmax​ω,b,xi​min​∥ω∥1​∣ωTxi​+b∣ =ω,bmax​xi​min​∥ω∥1​∣ωTxi​+b∣=ω,bmax​∥ω∥1​xi​min​yi​(ωTxi​+b)⇐yi​∈{−1,+1}s.t. yi​(ωTxi​+b)>0​

$y_i(\omega^Tx_i+b)>0$yi​(ωTxi​+b)>0可以理解为： $\exist\space\gamma>0,s.t.\space {min \atop x_i,y_i}y_i(\omega^Tx_i+b)=\gamma$∃ γ>0,s.t. xi​,yi​min​yi​(ωTxi​+b)=γ
$\gamma$γ的取值对式子（或超平面）是没有影响的，实际上就是对 $\omega,b$ω,b的缩放。
因此，令 $\gamma=1$γ=1。
则， ${max \atop \omega,b}{\frac 1 {\parallel\omega\parallel}}{min \atop x_i}y_i(\omega^Tx_i+b)={max \atop \omega,b}{\frac 1 {\parallel\omega\parallel}}\gamma={max \atop \omega,b}{\frac 1 {\parallel\omega\parallel}}$ω,bmax​∥ω∥1​xi​min​yi​(ωTxi​+b)=ω,bmax​∥ω∥1​γ=ω,bmax​∥ω∥1​
则，上式可写为：
$\begin{cases}{max \atop \omega,b}{\frac 1 {\parallel\omega\parallel}}\Rarr{min \atop \omega,b}{\parallel\omega\parallel}={min \atop \omega,b}{\frac 1 2}\omega^T\omega\space硬间隔；二次的、凸优化，可直接求解 \\s.t.\space {min\atop x_i}y_i(\omega^Tx_i+b)=1\Rarr y_i(\omega^Tx_i+b)\geqslant1,i=1,...,N\space 有N个约束 \end{cases}${ω,bmax​∥ω∥1​⇒ω,bmin​∥ω∥=ω,bmin​21​ωTω 硬间隔；二次的、凸优化，可直接求解s.t. xi​min​yi​(ωTxi​+b)=1⇒yi​(ωTxi​+b)⩾1,i=1,...,N 有N个约束​

则， $(1)\begin{cases}{min \atop \omega,b}{\frac 1 2}\omega^T\omega\space \\s.t.\space y_i(\omega^Tx_i+b)\geqslant1,i=1,...,N \end{cases}$(1){ω,bmin​21​ωTω s.t. yi​(ωTxi​+b)⩾1,i=1,...,N​

开始求解

1. Primal problem：带 $\omega,b$ω,b约束的优化

$(1)\begin{cases} {min \atop \omega,b}{\frac 1 2}\omega^T\omega \\ s.t. \space y_i(\omega^Tx_i+b)\geqslant1,for \space i=1,...,N \xLeftrightarrow{}1-y_i(\omega^Tx_i+b)\leqslant0\end{cases}$(1){ω,bmin​21​ωTωs.t. yi​(ωTxi​+b)⩾1,for i=1,...,N ​1−yi​(ωTxi​+b)⩽0​

2. 拉格朗日乘子法→对 $\omega,b$ω,b无约束的优化

$L(\omega,b,\lambda)={\frac 1 2}{\omega^T}\omega+\displaystyle\sum_{i=1}^N\lambda_i(1-y_i(\omega^Tx_i+b))$L(ω,b,λ)=21​ωTω+i=1∑N​λi​(1−yi​(ωTxi​+b)), $\lambda_i\geqslant0$λi​⩾0
$(2)\begin{cases}{min \atop \omega,b} {max \atop \lambda}L(\omega,b,\lambda) \\ s.t.\space\lambda_i\geqslant0\end{cases}$(2){ω,bmin​λmax​L(ω,b,λ)s.t. λi​⩾0​

值得注意的是： $1-y_i(\omega^Tx_i+b)\leqslant0$1−yi​(ωTxi​+b)⩽0。为什么呢？
答：
直观上看，
如果 $1-y_i(\omega^Tx_i+b)>0$1−yi​(ωTxi​+b)>0,则 ${max\atop\lambda}L={\frac 1 2}{\omega^T}\omega+\infty=\infty$λmax​L=21​ωTω+∞=∞
如果 $1-y_i(\omega^Tx_i+b)\leqslant0$1−yi​(ωTxi​+b)⩽0,则 ${max\atop\lambda}L$λmax​L一定存在， ${max\atop\lambda}L={\frac 1 2}{\omega^T}\omega+0={\frac 1 2}{\omega^T}\omega\space(\lambda_i\rarr0)$λmax​L=21​ωTω+0=21​ωTω (λi​→0)
则， ${min \atop \omega,b} {max \atop \lambda}L(\omega,b,\lambda)={min \atop \omega,b} (\infty,{\frac 1 2}{\omega^T}\omega)={\frac 1 2}{\omega^T}\omega$ω,bmin​λmax​L(ω,b,λ)=ω,bmin​(∞,21​ωTω)=21​ωTω
因此， $1-y_i(\omega^Tx_i+b)>0$1−yi​(ωTxi​+b)>0被丢弃了。

3. 转化为强对偶问题

$(3)\begin{cases}{max \atop \lambda}{min \atop \omega,b}L(\omega,b,\lambda) \\s.t.\space \lambda_i \geqslant0\end{cases}$(3){λmax​ω,bmin​L(ω,b,λ)s.t. λi​⩾0​

什么是强、弱对偶？
答：凸优化二次问题满足强对偶关系。
（1）弱对偶关系为 $min\space maxL\geqslant max\space minL$min maxL⩾max minL，对应理解为“尾凤 $\geqslant$⩾头鸡”，即凤尾优于鸡头、瘦死的骆驼比马大。
（2）强对偶关系，就是把 $\geqslant$⩾改为=。

4. 求解对偶问题：解拉格朗日方程 ${min \atop \omega,b}L(\omega,b,\lambda)$ω,bmin​L(ω,b,λ)

$L(\omega,b,\lambda)={\frac 1 2}{\omega^T}\omega+\displaystyle\sum_{i=1}^N\lambda_i(1-y_i(\omega^Tx_i+b))$L(ω,b,λ)=21​ωTω+i=1∑N​λi​(1−yi​(ωTxi​+b)), $\lambda_i\geqslant0$λi​⩾0

(1) 求 ${\frac {\partial L} {\partial b}}=0$∂b∂L​=0

${\frac {\partial L} {\partial b}}={\frac {\partial }{\partial b}}[\displaystyle\sum_{i=1}^N\lambda_i-\displaystyle\sum_{i=1}^N\lambda_iy_i(\omega^Tx_i+b)]={\frac {\partial }{\partial b}}[-\displaystyle\sum_{i=1}^N\lambda_iy_ib)]\\=-\displaystyle\sum_{i=1}^N\lambda_iy_i=0$∂b∂L​=∂b∂​[i=1∑N​λi​−i=1∑N​λi​yi​(ωTxi​+b)]=∂b∂​[−i=1∑N​λi​yi​b)]=−i=1∑N​λi​yi​=0
则， $\displaystyle\sum_{i=1}^N\lambda_iy_i=0$i=1∑N​λi​yi​=0

(2) 将 $\displaystyle\sum_{i=1}^N\lambda_iy_i=0$i=1∑N​λi​yi​=0代入到 $L(\omega,b,\lambda)$L(ω,b,λ)中

$L(\omega,b,\lambda)={\frac 1 2}\omega^T\omega+\displaystyle\sum_{i=1}^N\lambda_i-\displaystyle\sum_{i=1}^N\lambda_iy_i(\omega^Tx_i+b)\\={\frac 1 2}\omega^T\omega+\displaystyle\sum_{i=1}^N\lambda_i-\displaystyle\sum_{i=1}^N\lambda_iy_i\omega^Tx_i+\displaystyle\sum_{i=1}^N\lambda_iy_ib\\={\frac 1 2}\omega^T\omega+\displaystyle\sum_{i=1}^N\lambda_i-\displaystyle\sum_{i=1}^N\lambda_iy_i\omega^Tx_i$L(ω,b,λ)=21​ωTω+i=1∑N​λi​−i=1∑N​λi​yi​(ωTxi​+b)=21​ωTω+i=1∑N​λi​−i=1∑N​λi​yi​ωTxi​+i=1∑N​λi​yi​b=21​ωTω+i=1∑N​λi​−i=1∑N​λi​yi​ωTxi​

(3) 求 ${\frac {\partial L} {\partial \omega}}=0$∂ω∂L​=0

${\frac {\partial L} {\partial \omega}}={\frac 1 2}·2·\omega-\displaystyle\sum_{i=1}^N\lambda_iy_ix_i=0$∂ω∂L​=21​⋅2⋅ω−i=1∑N​λi​yi​xi​=0
则， $\omega=\displaystyle\sum_{i=1}^N\lambda_iy_ix_i$ω=i=1∑N​λi​yi​xi​

(4) 将 $\omega=\displaystyle\sum_{i=1}^N\lambda_iy_ix_i$ω=i=1∑N​λi​yi​xi​代入到 $L(\omega,b,\lambda)$L(ω,b,λ)中

$L(\omega,b,\lambda)={\frac 1 2}(\displaystyle\sum_{i=1}^N\lambda_iy_ix_i)^T(\displaystyle\sum_{i=1}^N\lambda_iy_ix_i)+\displaystyle\sum_{i=1}^N\lambda_i-\displaystyle\sum_{i=1}^N\lambda_iy_i(\displaystyle\sum_{j=1}^N\lambda_jy_jx_j)^Tx_i$L(ω,b,λ)=21​(i=1∑N​λi​yi​xi​)T(i=1∑N​λi​yi​xi​)+i=1∑N​λi​−i=1∑N​λi​yi​(j=1∑N​λj​yj​xj​)Txi​

注意：
∵ $\lambda_i\in\Reals,y_i\in\{-1,1\},x_i\in\Reals^p$λi​∈R,yi​∈{−1,1},xi​∈Rp
∴( $\displaystyle\sum_{i=1}^N\lambda_iy_ix_i)^T=\displaystyle\sum_{i=1}^N\lambda_iy_ix_i^T$i=1∑N​λi​yi​xi​)T=i=1∑N​λi​yi​xiT​
∴ $\omega^T\omega=(\displaystyle\sum_{i}^N\lambda_iy_ix_i^T)·(\displaystyle\sum_{j}^N\lambda_jy_jx_j)=\displaystyle\sum_{i}^N\displaystyle\sum_{j}^N\lambda_i\lambda_jy_iy_jx_i^Tx_j$ωTω=(i∑N​λi​yi​xiT​)⋅(j∑N​λj​yj​xj​)=i∑N​j∑N​λi​λj​yi​yj​xiT​xj​
同理， $\displaystyle\sum_{i=1}^N\lambda_iy_i(\displaystyle\sum_{j=1}^N\lambda_jy_jx_j)^Tx_i=\displaystyle\sum_{i=1}^N\lambda_iy_i\displaystyle\sum_{j=1}^N\lambda_jy_jx_j^Tx_i\\=\displaystyle\sum_{i}^N\displaystyle\sum_{j}^N\lambda_i\lambda_jy_iy_jx_j^Tx_i\\=\displaystyle\sum_{i}^N\displaystyle\sum_{j}^N\lambda_i\lambda_jy_iy_jx_i^Tx_j\Larr x_i^Tx_j=x_j^Tx_i\in\Reals$i=1∑N​λi​yi​(j=1∑N​λj​yj​xj​)Txi​=i=1∑N​λi​yi​j=1∑N​λj​yj​xjT​xi​=i∑N​j∑N​λi​λj​yi​yj​xjT​xi​=i∑N​j∑N​λi​λj​yi​yj​xiT​xj​⇐xiT​xj​=xjT​xi​∈R
发现上面两个结果一样！因此，可以约掉啦~
$(\displaystyle\sum_{i=1}^N\lambda_iy_ix_i)^T(\displaystyle\sum_{i=1}^N\lambda_iy_ix_i)=\displaystyle\sum_{i=1}^N\lambda_iy_i(\displaystyle\sum_{j=1}^N\lambda_jy_jx_j)^Tx_i\\=\displaystyle\sum_{i}^N\displaystyle\sum_{j}^N\lambda_i\lambda_jy_iy_jx_i^Tx_j$(i=1∑N​λi​yi​xi​)T(i=1∑N​λi​yi​xi​)=i=1∑N​λi​yi​(j=1∑N​λj​yj​xj​)Txi​=i∑N​j∑N​λi​λj​yi​yj​xiT​xj​

$L(\omega,b,\lambda)=\displaystyle\sum_{i=1}^N\lambda_i-{\frac 1 2}\displaystyle\sum_{i}^N\displaystyle\sum_{j}^N\lambda_i\lambda_jy_iy_jx_i^Tx_j\xRightarrow{即} {min \atop \omega,b}L(\omega,b,\lambda)$L(ω,b,λ)=i=1∑N​λi​−21​i∑N​j∑N​λi​λj​yi​yj​xiT​xj​即 ​ω,bmin​L(ω,b,λ)
代入式（3）即，
$(4)\begin{cases}{max \atop \lambda}\displaystyle\sum_{i=1}^N\lambda_i-{\frac 1 2}\displaystyle\sum_{i=1}^N\displaystyle\sum_{j=1}^N\lambda_i\lambda_jy_iy_jx_i^Tx_j\Larr {max \atop \lambda}{min \atop \omega,b}L(\omega,b,\lambda) \\s.t.\space \lambda_i\geqslant0,\displaystyle\sum_{i=1}^N\lambda_iy_i=0 \end{cases}$(4)⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​λmax​i=1∑N​λi​−21​i=1∑N​j=1∑N​λi​λj​yi​yj​xiT​xj​⇐λmax​ω,bmin​L(ω,b,λ)s.t. λi​⩾0,i=1∑N​λi​yi​=0​

(5) 对偶问题的最终优化式

最优化问题常由 $min$min表示
$(5)\begin{cases}{min \atop \lambda}{\frac 1 2}\displaystyle\sum_{i=1}^N\displaystyle\sum_{j=1}^N\lambda_i\lambda_jy_iy_jx_i^Tx_j-\displaystyle\sum_{i=1}^N\lambda_i \\s.t.\space \lambda_i\geqslant0,\displaystyle\sum_{i=1}^N\lambda_iy_i=0 \end{cases}$(5)⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​λmin​21​i=1∑N​j=1∑N​λi​λj​yi​yj​xiT​xj​−i=1∑N​λi​s.t. λi​⩾0,i=1∑N​λi​yi​=0​

5. KKT条件求解对偶问题

原问题和对偶问题具有强对偶关系 $\xLeftrightarrow{充要条件}$充要条件 ​满足KKT条件

拉格朗日方程（上面第2点）：
$L(\omega,b,\lambda)={\frac 1 2}{\omega^T}\omega+\displaystyle\sum_{i=1}^N\lambda_i(1-y_i(\omega^Tx_i+b))$L(ω,b,λ)=21​ωTω+i=1∑N​λi​(1−yi​(ωTxi​+b)), $\lambda_i\geqslant0$λi​⩾0

KKT（Karush-Kuhn-Tucker）条件：
$\begin{cases}{\frac {\partial L}{\partial \omega}}=0,{\frac {\partial L}{\partial b}}=0,{\frac {\partial L}{\partial \lambda}}=0 \\\lambda_i\geqslant0\Rarr 拉格朗日乘子法的要求 \\1-y_i(\omega^Tx_i+b)\leqslant0\Rarr 上面第2点解释了 \\\lambda_i(1-y_i(\omega^Tx_i+b))=0\Rarr此时，L(\omega,b,\lambda)={\frac 1 2}\omega^T\omega，为最大值；松弛互补条件 \end{cases}$⎩⎪⎪⎪⎨⎪⎪⎪⎧​∂ω∂L​=0,∂b∂L​=0,∂λ∂L​=0λi​⩾0⇒拉格朗日乘子法的要求1−yi​(ωTxi​+b)⩽0⇒上面第2点解释了λi​(1−yi​(ωTxi​+b))=0⇒此时，L(ω,b,λ)=21​ωTω，为最大值；松弛互补条件​

松弛互补条件？
基于互补松弛型给出强对偶的一个必要条件——KKT条件，最后给出凸函数性KKT条件的充分必要性。

(1) 最优解 $\omega^*=\displaystyle\sum_{i=1}^N\lambda_iy_ix_i$ω∗=i=1∑N​λi​yi​xi​

就是之前（3）中 ${\frac {\partial L} {\partial \omega}}=0$∂ω∂L​=0的结果。

(2) 最优解 $b^*=y_k-\displaystyle\sum_i^N\lambda_iy_ix_i^Tx_k$b∗=yk​−i∑N​λi​yi​xiT​xk​

假设 $\exist (x_k,y_k),\space s.t.\space 1-y_k(\omega^Tx_k+b)=0$∃(xk​,yk​), s.t. 1−yk​(ωTxk​+b)=0,即 $(x_k,y_k)$(xk​,yk​)为支持向量， $\omega^Tx_k+b\in\{-1,1\}$ωTxk​+b∈{−1,1}。
$由y_k(\omega^Tx_k+b)=1 \\∵y_k=±1,y_k^2=1 \\∴y_k^2(\omega^Tx_k+b)=y_k \\∴\omega^Tx_k+b=y_k \\∴b^*=y_k-\omega^Tx_k=y_k-(\omega^*)^Tx_k=y_k-\displaystyle\sum_{i=1}^N\lambda_iy_ix_i$由yk​(ωTxk​+b)=1∵yk​=±1,yk2​=1∴yk2​(ωTxk​+b)=yk​∴ωTxk​+b=yk​∴b∗=yk​−ωTxk​=yk​−(ω∗)Txk​=yk​−i=1∑N​λi​yi​xi​

(3) 根据 $w^*,b^*$w∗,b∗得出超平面 $w^*x+b^*$w∗x+b∗

1. $f(x)=sign((w^*)^Tx+b^*)$f(x)=sign((w∗)Tx+b∗)
2. $w^*=\displaystyle\sum_{i=1}^N\lambda_iy_ix_i$w∗=i=1∑N​λi​yi​xi​可看做是 $Data=\{(x_i, y_i)\}_{i=1}^N,x_i\in\R^p,y_i\in\{-1,+1\}$Data={(xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{−1,+1}的线性组合
3. $\lambda_i$λi​只对支持向量才有意义，即 $1-y_i(\omega^Tx_i+b)=0$1−yi​(ωTxi​+b)=0上的点，此时， $\lambda_i\geqslant0$λi​⩾0；对于非支持向量不起作用，此时 $\lambda_i=0$λi​=0。