SMO原理原理未完待续．．

1.SMO概念
上一篇博客已经详细介绍了SVM原理(http://blog.csdn.net/luoshixian099/article/details/51073885),
为了方便求解，把原始最优化问题转化成了其对偶问题，因为对偶问题是一个凸二次规划问题，这样的凸二次规划问题具有全局最优解，如下：

$\min_{\overrightarrow{\alpha}}\Psi(\overrightarrow{\alpha})\\ =\min_{\overrightarrow{\alpha}}\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^Ny_i·y_j·K(\overrightarrow{x_i},\overrightarrow{x_j})·\alpha_i·\alpha_j-\sum_{i=1}^{N}\alpha_i$α min​Ψ(α )=α min​21​i=1∑N​j=1∑N​yi​⋅yj​⋅K(xi​ ​,xj​ ​)⋅αi​⋅αj​−i=1∑N​αi​
$0≤\alpha_i≤C,\forall i,$0≤αi​≤C,∀i,
$\sum_{i=0}^N y_i·\alpha_i=0$i=0∑N​yi​⋅αi​=0
其中 $K(\overrightarrow{x_i},\overrightarrow{x_j})$K(xi​ ​,xj​ ​)表示向量内积

其中:
( $x_i$xi​, $y_i$yi​):训练样本数据，
$x_i$xi​:样本特征
$y_i\in\{-1,1\}$yi​∈{−1,1}:为样本标签
$C$C:惩罚系数

上述问题是要求解N个参数 $(\alpha_1,\alpha_2,\alpha_3,...,\alpha_N)$(α1​,α2​,α3​,...,αN​)
，其他参数均为已知，有多种算法可以对上述问题求解，但是算法复杂度均很大。
但1998年，由Platt提出的序列最小最优化算法(SMO)可以高效的求解上述SVM问题，它把原始求解N个参数二次规划问题分解成很多个子二次规划问题分别求解，每个子问题只需要求解2个参数，方法类似于坐标上升，节省时间成本和降低了内存需求。每次启发式选择两个变量进行优化，不断循环，直到达到函数最优值。

2.SMO原理分析
2.1视为一个二元函数
为了求解N个参数 $(\alpha_1,\alpha_2,\alpha_3,...,\alpha_N)$(α1​,α2​,α3​,...,αN​),首先想到的是坐标上升的思路，例如求解α1,可以固定其他N-1个参数，可以看成关于 $\alpha_1$α1​的一元函数求解，但是注意到上述问题的等式约束条件 $\sum_{i=1}^{N}y_i\alpha_i=0$∑i=1N​yi​αi​=0,当固定其他参数时，参数 $\alpha_1$α1​也被固定，因此此种方法不可用。

SMO算法选择同时优化两个参数，
固定其他N-2个参数，假设选择的变量为 $\alpha_1,\alpha_2$α1​,α2​的二元函数,

$Constant$Constant表示常数项,(不包含变量 $\alpha_1$α1​, $\alpha_2$α2​的项)。
$minΨ(\alpha_1,\alpha_2)=\frac12K_{11}\alpha_1^{2}+\frac12K_{22}\alpha_2^2+y_1y_2K_{12}\alpha_1\alpha_2-(\alpha_1+\alpha_2)+y_1v_1\alpha_1+y_2v_2\alpha_2+Constant\qquad \color{Red}{(1)}$minΨ(α1​,α2​)=21​K11​α12​+21​K22​α22​+y1​y2​K12​α1​α2​−(α1​+α2​)+y1​v1​α1​+y2​v2​α2​+Constant(1)
其中 $v_i=\sum_{j=3}^N\alpha_jy_jK(x_i,x_j),i=1,2$vi​=∑j=3N​αj​yj​K(xi​,xj​),i=1,2

2.2视为一元函数
3.由等式约束得：
$\alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^N\alpha_iy_i=\zeta$α1​y1​+α2​y2​=−i=3∑N​αi​yi​=ζ
可见 $\zeta$ζ为定值。

等式 $\alpha_1y_1+\alpha_2y_2=\zeta$α1​y1​+α2​y2​=ζ两边同时乘以 $y_1$y1​,且 $y_1^2=1$y12​=1，得
$\alpha_1=(\zeta-y_2\alpha_2)y_1 \qquad \color{Red}{(2)}$α1​=(ζ−y2​α2​)y1​(2)

(2)式带回到(1)中得到只关于参数 ${\alpha_2}$α2​的一元函数，由于常数项不影响目标函数的解，以下省略掉常数项 $Constant$Constant
$min\ Ψ(\alpha_2)=\frac12K_{11}(\zeta-\alpha_2y_2)^2+\frac12K_{22}\alpha_2^2+y_2K_{12}(\zeta-\alpha_2y_2)\alpha_2-(\zeta-\alpha_2y_2)y_1-\alpha_2+v_1(\zeta-\alpha_2y_2)+y_2v_2\alpha_2 \qquad\color{Red}{(3)}$min Ψ(α2​)=21​K11​(ζ−α2​y2​)2+21​K22​α22​+y2​K12​(ζ−α2​y2​)α2​−(ζ−α2​y2​)y1​−α2​+v1​(ζ−α2​y2​)+y2​v2​α2​(3)

2.3对一元函数求极值点
上式中是关于变量α2的函数，对上式求导并令其为0得：
$\frac{\partial \Psi (\alpha_2)}{\partial \alpha_2}=(K_{11}+K_{22}-2K_{12})\alpha_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1y_2-1-v_1y_2+v_2y_2=0$∂α2​∂Ψ(α2​)​=(K11​+K22​−2K12​)α2​−K11​ζy2​+K12​ζy2​+y1​y2​−1−v1​y2​+v2​y2​=0
1.由上式中假设求得了 ${\alpha_2}$α2​的解，带回到(2)式中可求得 ${\alpha_1}$α1​的解，分别记为:
$\alpha_1^{new},\alpha_2^{new}$α1new​,α2new​
优化前的解记为:
$\alpha_1^{old},\alpha_2^{old}$α1old​,α2old​,
由于参数 $\alpha_3,\alpha_4,...,\alpha_N$α3​,α4​,...,αN​固定,由等式约束
$\sum_{i=1}^{N}y_i\alpha_i=0$∑i=1N​yi​αi​=0有:
$\alpha_1^{old}y_1+\alpha_2^{old}y_2\\ =-\sum_{i=3}^N\alpha_iy_i\\ =\alpha_1^{new}y_1+\alpha_2^{new}y_2\\ =\zeta$α1old​y1​+α2old​y2​=−i=3∑N​αi​yi​=α1new​y1​+α2new​y2​=ζ
$\zeta=\alpha_1^{old}y_1+\alpha_2^{old}y_2 \qquad \color{Red}{(4)}$ζ=α1old​y1​+α2old​y2​(4)

2.假设SVM超平面的模型为 $f(x)=w^Tx+b$f(x)=wTx+b,
3.上一篇中已推导出 $w$w的表达式,将其带入得
$f(x)=\sum_{i=1}^N\alpha_iy_iK(x_i,x)+b$f(x)=i=1∑N​αi​yi​K(xi​,x)+b
$f(x_i)$f(xi​):表示样本 $x_i$xi​的预测值
$y_i$yi​表示样本 $x_i$xi​的真实值，定义 $E_i$Ei​表示预测值与真实值之差为
$E_i=f(x_i)-y_i \qquad \color{Red}{(5)}$Ei​=f(xi​)−yi​(5)

3.由于 $v_i=\sum_{j=3}^N\alpha_jy_jK(x_i,x_j),i=1,2$vi​=∑j=3N​αj​yj​K(xi​,xj​),i=1,2因此,
$v_1=f(x_1)-\sum_{j=1}^2y_j\alpha_jK_{1j}-b\qquad \color{Red}{(6)}$v1​=f(x1​)−j=1∑2​yj​αj​K1j​−b(6)

$v_2=f(x_2)-\sum_{j=1}^2y_j\alpha_jK_{2j}-b\qquad \color{Red}{(7)}$v2​=f(x2​)−j=1∑2​yj​αj​K2j​−b(7)

把(4)(6)(7)带入下式中：
$(K_{11}+K_{22}-2K_{12})\alpha_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1y_2-1-v_1y_2+v_2y_2=0$(K11​+K22​−2K12​)α2​−K11​ζy2​+K12​ζy2​+y1​y2​−1−v1​y2​+v2​y2​=0

化简得: 此时求解出的 $\alpha_2^{new}$α2new​未考虑约束问题，先记为 $\alpha_2^{new,unclipped}$α2new,unclipped​:

$(K_{11}+K_{22}-2K_{12})\alpha_2^{new,unclipped}=(K_{11}+K_{22}-2K_{12})\alpha_2^{old}+y_2\left[y_2-y_1+f(x_1)-f(x_2)\right]$(K11​+K22​−2K12​)α2new,unclipped​=(K11​+K22​−2K12​)α2old​+y2​[y2​−y1​+f(x1​)−f(x2​)]

代入(5)式，并记 $\eta=K_{11}+K_{22}-2K_{12}$η=K11​+K22​−2K12​:
$\alpha_2^{new,unclipped}=\alpha_2^{old}+\frac{y_2(E_1-E_2)}{\eta} \qquad \color{Red}{(8)}$α2new,unclipped​=α2old​+ηy2​(E1​−E2​)​(8)

2.4对原始解修剪
上述求出的解未考虑到约束条件：
$0\leq\alpha_{i=1,2}\leq C$0≤αi=1,2​≤C
$\alpha_1·y_1+\alpha_2·y_2=\zeta$α1​⋅y1​+α2​⋅y2​=ζ

在二维平面上直观表达上述两个约束条件 :

最优解必须要在方框内且在直线上取得，因此
$L\leq\alpha_2^{new} \leq H$L≤α2new​≤H
当 $y_1\neq y_2$y1​̸​=y2​时，
$L=max(0,\alpha_2^{old}-\alpha_1^{old});$L=max(0,α2old​−α1old​);
$H=min(C,C+\alpha_2^{old}-\alpha_1^{old})$H=min(C,C+α2old​−α1old​)

当 $y_1= y_2$y1​=y2​时，
$L=max(0,\alpha_1^{old}+\alpha_2^{old}-C);$L=max(0,α1old​+α2old​−C);
$H=min(C,\alpha_2^{old}+\alpha_1^{old})$H=min(C,α2old​+α1old​)

经过上述约束的修剪，最优解就可以记为 $\alpha_2^{new}$α2new​了．

$\alpha_2^{new}=\begin{cases} & \text{ H ,} \alpha_2^{new,unclipped}>H \\ \\& \alpha_2^{new,unclipped}, L\leqslant \alpha_2^{new,unclipped}\leqslant H\\ \\ & \text{ L ,} \alpha_2^{new,unclipped}<L \end{cases}$α2new​=⎩⎪⎪⎪⎪⎪+α2old​−C);
$H=min(C,\alpha_2^{old}+\alpha_1^{old})$H=min(C,α2old​+α1old​)

经过上述约束的修剪，最优解就可以记为 $\alpha_2^{new}$α2new​了．

$\alpha_2^{new}=\begin{cases} & \text{ H ,} \alpha_2^{new,unclipped}>H \\ \\& \alpha_2^{new,unclipped}, L\leqslant \alpha_2^{new,unclipped}\leqslant H\\ \\ & \text{ L ,} \alpha_2^{new,unclipped}<L \end{cases}$α2new​=⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪