SVM零基础系列教程（二）

更多文章，欢迎你们关注的个人我的博客网站：fangd123

英文原文连接：SVM - Understanding the math - Part 2

在SVM教程的第一部分中，咱们了解了SVM的目标。它的目标是是寻找最大化间隔的超平面。

可是咱们如何计算这个边距？

SVM = Support VECTOR Machine

在支持向量机中，有一个概念，叫作向量（vector）。

这也就是说理解向量和如何使用它们是很重要的。

Here a short sum-up of what we will see today:
这是今天咱们将要了解的内容的摘要：

• 什么是向量？

  • 它的范数
  • 它的方向
• 向量加减法
• 什么是点乘
• 如何将一个向量投影到另外一个向量上

什么是向量？

若是咱们定义点 $A(3,4)$，咱们可以把它像这样绘制出来。

图 1：一个点

定义：点 $x=(x1,x2),x≠0$ in $R^2 $ 肯定平面的一个向量，即向量的起点为原点，终点为点x。

这个定义的意思是在原点和点A存在一个向量。

图 2 - 一个向量

若是咱们说原点坐标为 $O（0,0）$，那么上边的这条向量是 $OA$，咱们也可以给它一个抽象的名字例如$u$。

注意：你可能注意到咱们书写的向量，要么是在字母顶端标箭头，要么加粗。在文章的接下来的部分我将会使用箭头，在存在两个字母像$OA$，在其余状况下加粗标识。

好，目前咱们向量的存在，可是咱们仍然不知道什么是向量。

定义：向量是一个同时拥有大小和方向的东西。

咱们将会从两个方面来理解这个概念。

1）向量的大小

向量X的大小或者长度被写做 $\| x \|$，被称范数。

对于咱们的向量$OA$，$||OA||$就是线段$OA$的长度

图3

使用勾股定理可以很容易地计算出图3中$OA$的距离：

$$OA^2=OB^2+AB^2$$

$$OA^2=3^2+4^2$$

$$OA^2=25$$

$$OA=\sqrt{25}$$

$$||OA||=OA=5$$

2）向量的方向

方向是向量的第二个组成部分。

定义：向量 $u(u_1,u_2)$ 的 方向是向量：
$$ w(\frac{u1}{∥u∥},\frac{u2}{∥u∥})$$

$w$ 的坐标是怎么来的？

理解定义

为了找到向量的方向，咱们须要使用它的角度。

图4 - 向量的方向

图4表示向量 $u(u_1,u_2)$ 中 $u_1=3$，$u_2=4$

咱们能够得出：

朴素的定义1：向量 $u$ 的方向是由横轴夹角 $\theta$ 和纵轴夹角 $\alpha$ 决定的。

这个有点荒谬，实际上咱们用角度的余弦值肯定向量的方向。

在右边的三角形中，角 $\beta$ 的余弦值定义为：

$$cos(\beta) = \frac{邻边}{斜边}$$

在图4中咱们可以找到两个三角形，它们的邻边是坐标轴之一，这也就是说余弦值的定义隐含着和角度相关的坐标轴。咱们能够将咱们的朴素定义换一种方式表达：

朴素定义 2：向量 $u$ 的方向是由角 $\theta$ 的余弦值和角 $\alpha$ 的余弦值决定的。

如今咱们看看它们的值：

$cos(\theta) = \frac{u_1}{||u||}$
$cos(\alpha) = \frac{u_2}{||u||}$

这就是向量 $w$ 最初的定义，这是为何它的坐标也被称为方向余弦。

计算向量的方向

咱们如今将开始计算图4中向量 $u$ 的方向：

$cos(\theta) = \frac{u_1}{||u||} = \frac{3}{5} = 0.6$
和
$cos(\theta) = \frac{u_2}{||u||} = \frac{4}{5} = 0.6$

$u(3,4) $的方向是向量 $w(0.6,0.8)$

若是咱们绘制出这个向量咱们就获得了图5：

Figure 5: the direction of u
图 5：u 的方向

咱们可以看到 $w$ 除了更小一些外，其余的实际上和 $u$ 是同样的。有趣的是相似 $w$ 这样的方向向量的范数为1。这就是为何咱们经常称它们为单位向量。

向量的加减法

两个向量的和

图 6：向量u和v

已知向量 $u(u_1,u_2)$ 和 $v(v_1,v_2)$：
$$u+v = (u_1+v_1,u_2+v_2)$$

也就是说，两个向量相加获得的新向量的坐标是两个向量的坐标的和。

你能够经过下边的这个例子确信这一点：

图 7：两个向量的和

两个向量的差

差的运算同理：
$$u+v = (u_1-v_1,u_2-v_2)$$

图 8：两个向量的差

由于减法是没有交换律的，咱们也能够考虑另一种状况：

图 9：u-v的差

最后两张图描述了$u$和$v$的差向量

然而，由于向量有大小和方向，咱们经常考虑向量平移变换（拥有相同大小和方向可是起点不同的向量）获得的向量是同样的，仅仅是在空间上不一样地方绘制而已。

所以若是你遇到以下的状况不要感到惊讶：

图 10：v-u的另外一种展示方式

和

图 11：u-v的另外一种展示方式

若是你进行数学计算，它看起来是错的，由于向量 $u-v$ 的终点并不在正确的位置，可是你讲会在之后常常遇到这种便捷地表示向量的方式。

点乘

点乘是理解SVM的一个很是重要的概念。

"定义：从几何的角度看，点乘的结果是两个向量的欧氏距离和他们之间的夹角。"

也就是说，若是咱们有两个向量$x$和$y$，以及它们之间的夹角 $\theta$ ，它们的点乘是：

$$x\cdot y = ||x||||y||cos(\theta)$$

为何？

为了理解这个，让咱们从几何的角度看看这个问题。

咱们来看看定义中 $cos(\theta)$ 是什么。

根据定义咱们知道在直角角形中：

$$cos(\theta) = \frac{邻边}{斜边}$$

在咱们的例子中，咱们并无直角三角形。

然而若是咱们换一个角度看图 12，咱们可以找到两个直角三角形，每一个都是由向量和横轴的组成的。

图 13

和

图 14

所以如今咱们可以像这样的方式观察以前的图：

图 15

咱们可以获得
$$\theta = \beta - \alpha$$
所以计算 $cos(\theta)$ 等价于计算 $cos(\beta - \alpha)$

有一个公式被称之为 difference identity ：
$$cos(\beta - \alpha) = cos(\beta)cos(\alpha) + sin(\beta)sin(\alpha)$$
（若是你想了解更多，请看这个例子）

让咱们使用这个公式！

$$cos(\beta) = \frac{邻边}{斜边} = \frac{x_1}{||x||}$$
$$sin(\beta) = \frac{对边}{斜边} = \frac{x_2}{||x||}$$
$$cos(\alpha) = \frac{邻边}{斜边} = \frac{y_1}{||y||}$$
$$cos(\alpha) = \frac{对边}{斜边} = \frac{y_2}{||y||}$$

所以若是咱们替换每一个参数

$$cos(\beta - \alpha) = cos(\beta)cos(\alpha) + sin(\beta)sin(\alpha)$$
$$cos(\theta) = \frac{x_1}{||x||}\frac{y_1}{||y||}+\frac{x_2}{||x||}\frac{y_2}{||y||}$$
$$cos(\theta) = \frac{x_1y_1+x_2y_2}{\|x\|\|y\|}$$

若是咱们两边同时乘以$\|x\| \|y\|$获得：

$\|x\|\|y\|cos(\theta) = x_1y_1 + x_2y_2$

等价于：
$\|x\|\|y\|cos(θ)=xy$

咱们可以发现点乘的几何定义！

实际上咱们可以从最后两个公式中看到：

$$xy = x_1y_1 + x_2y_2 = \sum{2}{i=1}(x_iy_i)$$

这是点乘的代数定义！

关于记号的一些说明

点乘之说以被这样称呼是由于咱们在两个向量中间写了一个点。
讨论点乘$x\cdoty$和讨论一下的说法是同样的

• $<x,y>$的内积
• 数量积，由于咱们将两个向量相乘获得了一个实数

向量的正交投影

给定两个向量$x$和$y$，咱们想找到$x$在$y$上的正交投影。

图 16

为了可以这样作，咱们将向量$\mathbf{x}$投影在$\mathbf{y}$上

图 17

咱们获得向量$\mathbf{z}$

根据定义：

$$cos(\theta) = \frac{\|z\|}{\|x\|}$$
$$\|z\| = \|x\|cos(\theta)$$

咱们已经知道了点乘公式

$$cos(\theta) = \frac{\mathbf{x}\cdot\mathbf{y}}{\|x\|\|y\|}$$

所以咱们替换公式中的$cos(\theta)$：

$$\|z\| = \|x\|\frac{\mathbf{x}\cdot\mathbf{y}}{\|x\|\|y\|}$$

若是咱们定义$\mathbf{u}$为$\mathbf{y}$的方向，而后：

$$\mathbf{u} = \frac{\mathbf{y}}{\|y\|}$$

和

$$\|z\| = \mathbf{u}\cdot\mathbf{x}$$

咱们如今有了计算向量$\mathbf{z}$的范数的简单的方法。
由于向量$\mathbf{z}$和$\mathbf{y}$的方向一致，也是向量$\mathbf{u}$的方向

$$\mathbf{u}=\frac{\mathbf{z}}{\|z\|}$$
$$\mathbf{z} = \|z\|\mathbf{u}$$

所以咱们可以说：

向量$\mathbf{z} = (\mathbf{u}\cdot\mathbf{x})\mathbf{u}$是$\mathbf{x}$到$\mathbf{y}$的正交投影。

为何咱们对于正交投影如此感兴趣呢？在咱们的例子中，它让咱们可以计算$\mathbf{x}$和通过$\mathbf{y}$的直线之间的距离。

图 19

咱们可以看到这个距离就是$\|x-z\|$

$$\|x-z\| = \sqrt{(3-4)^2+(5-1)^2} = \sqrt{17}$$

SVM 超平面

理解超平面公式

你也许了解到直线方程是这样的：$y = ax+b$。然而，当你读到超平面的时候，你将会发现超平面方程是这样定义的：

$$\mathbf{w}^T\mathbf{x} = 0$$

二者之间有什么联系呢？
在超平面方程中，你可以发现变量名是粗体的。这也就是说它们都是向量！更重要的是，$\mathbf{w}^T\mathbf{x}$是咱们计算两个向量内积的方法，若是你会想前边所讲过的，内积就是点乘的另外一种说法！

注意

$$y = ax +b$$
和

$$y-ax-b = 0$$

是同样的

给定两个向量$\mathbf{w}(-b,-a,1)和\mathbf{x}(1,x,y)$

$$\mathbf{w}^T\mathbf{x} = -b \times (1) + (-a)\times x + 1 \times y$$
$$\mathbf{w}^T\mathbf{x} = y - ax -b$$

两个方程仅仅是用不一样的方式表达一样的意思。

有趣的是，$w_0$的值为$-b$，也就是说这个值决定这直线和纵轴的交点。

为何咱们使用超平面方程$\mathbf{w}^T\mathbf{x}$而不是$ y=ax+b$？

两个缘由：

• 这种表达方式在高于二维的尺度上更加有效
• 向量$\mathbf{w}$是超平面的法线

而且最后一条性质在计算点到超平面的距离上十分有用。

计算点到超平面的距离

在 图20 咱们有一个超平面，将数据分为了两组。

图 20
为了简化这个例子，咱们设$w_0=0$。

正如你在图20上看到的，超平面方程为：
$$x_2 = -2x_1$$

等价于

$$\mathbf{w}^T\mathbf{x} = 0$$

其中$\mathbf{w}(2,1)$、$\mathbf{x}(x_1,x_2)$

注意向量$\mathbf{w}$在图20中。（$\mathbf{w}$不是一个数据点）
咱们想计算点$A(3,4)$到超平面的距离。
这个是$A$和它在超平面上的投影的距离

图 21

咱们能够将点 $A$ 视为一个从原点到 $A$ 的向量。
若是咱们将它投影到法向量 $\mathbf{w}$

图 22：$\mathbf{a}$ 投影到 $\mathbf{w}$

咱们获得向量 $\mathbf{p}$

图 23：p 是 a 投影到 w 的向量

咱们的目标是找到 $A(3,4)$ 和超平面之间的距离。
经过图 23 咱们可以看到这个距离等于 $\|p\|$。
让咱们来计算这个值。

咱们从这两个向量开始，$\mathbf{w}=(2,1)$ 是超平面是法向量，$\mathbf{a}=(3,4)$ 是从原点到点 $A$ 之间的向量。

$$\|w\| = \sqrt{2^2+1^2} = \sqrt{5}$$

设向量 $\mathbf{u}$ 是 $\mathbf{w}$ 的方向向量

$$\mathbf{u} = (\frac{2}{\sqrt{5}},\frac{1}{\sqrt{5}})$$

$\mathbf{p}$ 是 $\mathbf{a}$ 在 $\mathbf{w}$ 上的正交投影，所以：

$$\mathbf{p}=(\mathbf{u}\cdot\mathbf{a})\mathbf{u}$$
$$\mathbf{p}=(3\times\frac{2}{\sqrt{5}}+4\times\frac{1}{\sqrt{5}})\mathbf{u}$$
$$\mathbf{p}=(\frac{6}{\sqrt{5}}+\frac{4}{\sqrt{5}})\mathbf{u}$$
$$\mathbf{p}=\frac{10}{\sqrt{5}}\mathbf{u}$$
$$\mathbf{p}=(\frac{10}{\sqrt{5}}\times\frac{2}{\sqrt{5}},\frac{10}{\sqrt{5}}\times\frac{1}{\sqrt{5}})$$
$$\mathbf{p}=(\frac{20}{5},\frac{10}{5})$$
$$\mathbf{p}=(4,2)$$
$$\|p\| = \sqrt{4^2+2^2} = 2\sqrt{5}$$

计算超平面的间隔

如今咱们已经有了 $A$ 和超平面之间的距离了，间隔的定义是：

$$margin = 2\|p\| = 4\sqrt{5}$$

咱们作到了！咱们计算出了超平面的间隔！

结论

这是本系列的第二篇。
数学的内容比较多，可是我但愿你已经可以很好的理解这个问题了。

接下来是什么？

如今咱们已经知道如何计算间隔，咱们也许想知道如何选择最佳的超平面，这将在本教程的第三部分讨论：如何找到最优超平面？