SVM系列之核函数与KKT条件(二)

前言

在前一篇文章中介绍的 SVM 基本型，其实还可以进行优化。主要是利用核函数对向量内积的计算进行优化。另外，我们还将详细分析拉格朗日乘子法与KKT条件,以及KKT条件对SVM分类的作用。那我们先来看看核函数是什么。

核函数

在异或问题中，由于 0⊕0=0 $0\oplus 0=0$、 1⊕1=0 $1\oplus 1=0$、 0⊕1=1 $0\oplus 1=1$、 1⊕0=1 $1\oplus 0=1$，所有只有两类结果，我们将 0 标记为负号，将 1 标记为正号，并且将这四种情况形象地标注在下图左侧中。可以看到，对于这类样本点，我们无法找到线性可分的超平面，而只能绘制一条非线性曲线将他们划分开。那么有什么办法可以将他们划分开呢？这时候，核方法(kernel trick)就出场啦。

所谓的核方法，其实就是将样本从原始的特征空间映射到一个高维的特征空间，以使得样本在高维特征空间中仍然线性可分。正如下图中所示，我们对 x $x$ 使用一个映射函数 ϕ $\varphi$，得到映射到高维特征空间的特征向量 ϕ(x) $\varphi \left(x\right)$，然后这些样本点在三维空间的确可以找到一个平面将样本点线性可分(黑色实线所画的平面)。幸运的是，如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。那么其实我们只要找到映射函数，就可以将线性不可分的样本转为线性可分的情况了。但是，这个映射函数很难寻找，SVM模型没有直接硬来，而是巧妙的引入核函数来间接地解决实现这种变换。

那么接下来我们看看核函数如何应用于模型上。

在前一篇文章中的 SVM 对偶问题为:

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxTixjαi≥0 $$\underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-{\displaystyle \frac{1}{2}}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j{\alpha }_i\ge 0$$

可以看到，我们需要计算第 i 和第 j 两个样本的内积。
另外，对应的分类决策函数的公式为：

f(x)=wTx+b=∑i=1mαiyixTix+b $$\begin{array}{r}f\left(x\right)=w^{T}x+b\\ =\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i{x}_i^{T}x+b\end{array}$$

我们也需要计算总样本 X 和样本 i之间的内积。我们发现，这里其实存在着重复的内积计算，并且在高维中内积计算非常耗时，可不可以只算一次？事实上，是可以的，我们完全可以提前将两两样本间以及样本与自身的内积都算出来并存储下来，下次使用时只需直接取出使用即可，这大大提高了计算效率。但是，现在问题是当样本点映射到高维空间中内积计算的问题。这里，就巧妙引入了核函数,替代了向量内积。它可表示为:

k(xi,xj)=ϕ(xi)Tϕ(xj) $$k\left(x_i,x_j\right)=\varphi {\left(x_i\right)}^T\varphi \left(x_j\right)$$

那么引入核函数后，对偶问题变为:

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjϕ(xi)Tϕ(xj)=maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjk(xi,xj)αi≥0 $$\underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-{\displaystyle \frac{1}{2}}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left(x_i\right)}^T\varphi \left(x_j\right)=\underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-{\displaystyle \frac{1}{2}}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_{j}k\left(x_i,x_j\right){\alpha }_i\ge 0$$

分类决策函数变为:

f(x)=wTx+b=∑i=1mαiyiϕ(xi)Tϕ(xj)+b=∑i=imαiyik(x,xi)+b $$\begin{array}{r}f\left(x\right)=w^{T}x+b\\ =\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i\varphi {\left(x_i\right)}^T\varphi \left(x_j\right)+b\end{array}=\underset{i=i}{\overset{m}{\sum }}{\alpha }_i{y}_{i}k\left(x,x_i\right)+b$$

所以我们只需要计算核函数的值即可，而核函数的计算只需套用公式。常用的核函数有线性核( k(xi,xj)=xTixj $k\left(x_i,x_j\right)=x_i^T{x}_j$，线性核代表了原始特征空间，为了统一写法，有了线性核)以及高斯核( k(xi,xj)=exp(−∥xi−xj∥22σ2) $k\left(x_i,x_j\right)=\exp \left(-{\displaystyle \frac{{\Vert x_i-x_j\Vert }^2}{2{\sigma }^2}}\right)$) 等。

注意到大部分的拉格朗日乘子 αi ${\alpha }_i$ 都是 0。因为大部分的样本都会被分类正确，只有少部分的样本被误分类，也就说只要被分类正确， αi=0 ${\alpha }_i=0$，该样本不会出现在分类决策函数的求和公式中，自然不会对最终的决策结果产生任何影响。

最后，支持向量机的决策过程也可以看做一种相似性比较的过程。首先，输入样本与一系列模板样本进行相似性比较，模板样本就是训练过程决定的支持向量，而采用的相似性度量就是核函数。样本与各支持向量比较后的得分进行加权后求和，权值就是训练时得到的各支持向量的系数 αi ${\alpha }_i$ 和类别标号的成绩。最后根据加权求和值大小来进行决策。而采用不同的核函数，就相当于采用不同的相似度的衡量方法。

到这里，SVM的理论基础基本都介绍完了。总的来说，首先进行特征空间的非线性映射，然后在这个新的空间中求最优分类面即最大间隔分类面，而这种非线性映射是通过定义适当的内积核函数来巧妙实现的。

接下来，我们介绍下凸优化问题中涉及的KKT条件。

KKT条件（Karush–Kuhn–Tucker conditions）

什么是KKT

KKT 是一组不等式约束，主要应用在凸优化问题上。其实大家在高数中曾使用过拉格朗日乘子法求解带等式约束的优化问题，而KKT条件解优化问题就是升级版啦。

拉格朗日乘子法

假设有如下带等式约束的优化问题：

minf(x)s.t.hi(x)=0i=1,2,…,m $$minf\left(x\right)s.t.h_i\left(x\right)=0i=1,2,\dots ,m$$

我们使用拉格朗日乘子法通过引入拉格朗日乘子将等式约束的优化问题转化为无等式约束的优化问题。
所以我们通过一个拉格朗日乘子组成的行向量 α $\alpha$(其中 α=[α1,α2,…,αn] $\alpha =\left[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n\right]$)，将目标函数和等式约束组合成 L(α,x)=f(x)+αT⋅h $L\left(\alpha ,x\right)=f\left(x\right)+{\alpha }^T\cdot h$,其中 h(x)=[h1(x),h2(x),…,hm(x)]T $h\left(x\right)={\left[h_1\left(x\right),h_2\left(x\right),\dots ,h_m\left(x\right)\right]}^T$。然后就可以求最优值，也就是利用费马引理，将函数 L 对各个参数求导取零，然后等式联立进行求解。

KKT条件

假设有如下带不等式约束的优化问题:

minf(x)s.t.gi(x)≤0i=1,2,…,nhj(x)=0j=1,2,…,m $$minf\left(x\right)s.t.g_i\left(x\right)\le 0i=1,2,\dots ,n{h}_j\left(x\right)=0j=1,2,\dots ,m$$

我们同样先将约束问题转化为无约束的优化问题，得到函数:

L(α,β,x)=f(x)+αg(x)+βh(x) $$L\left(\alpha ,\beta ,x\right)=f\left(x\right)+\alpha g\left(x\right)+\beta h\left(x\right)$$

其中 α $\alpha$、 β $\beta$为行向量， g(x) $g\left(x\right)$、 h(x) $h\left(x\right)$均为列向量。那么KKT条件的作用就是，该问题的最优解必须满足以下条件:

1. L(α,β,x) $L\left(\alpha ,\beta ,x\right)$对 x $x$ 的导数为零；
2. h(x)=0 $h\left(x\right)=0$；
3. αg(x)≤0 $\alpha g\left(x\right)\le 0$。

这样之后就能求得最优值。其中第三个式子比较有意思。由于 g(x)≤0 $g\left(x\right)\le 0$，因此只有 α=0 $\alpha =0$ 或 g(x)=0 $g\left(x\right)=0$时，等式才成立。而这里是 SVM 中很多重要性质的来源，比如支持向量的概念。后面我们在介绍KKT条件与 SVM 的关系时再具体解释。那为什么拉格朗日乘子法和KKT条件能够得到最优值?

拉格朗日乘子法和KKT条件能够得到最优值的原因

对于拉格朗日乘子法，假设目标函数为 f(x,y) (x) ≤ 0 $\alpha g\left(x\right)\le 0$。

这样之后就能求得最优值。其中第三个式子比较有意思。由于 g(x)≤0 $g\left(x\right)\le 0$，因此只有 α=0 $\alpha =0$ 或 g(x)=0 $g\left(x\right)=0$时，等式才成立。而这里是 SVM 中很多重要性质的来源，比如支持向量的概念。后面我们在介绍KKT条件与 SVM 的关系时再具体解释。那为什么拉格朗日乘子法和KKT条件能够得到最优值?

拉格朗日乘子法和KKT条件能够得到最优值的原因

对于拉格朗日乘子法，假设目标函数为 f(x,y) $f\left(x,y\right)$,要求其极值，且满足