支持向量机 (二)： 软间隔 svm 与 核函数

拉格朗日乘子法 - KKT条件 - 对偶问题

支持向量机 (一)： 线性可分类 svm

支持向量机 (二)： 软间隔 svm 与 核函数

软间隔最大化（线性不可分类svm）

---

上一篇求解出来的间隔被称为 “硬间隔(hard margin）“，其能够将全部样本点划分正确且都在间隔边界以外，即全部样本点都知足 \(y_{i}(\boldsymbol{w}^{\top} \boldsymbol{x}_{i}+b) \geqslant 1\) 。

但硬间隔有两个缺点：1. 不适用于线性不可分数据集。 2. 对离群点（outlier）敏感。


好比下图就没法找到一个超平面将蓝点和紫点彻底分开：

下图显示加入了一个离群点后，超平面发生了很大的变更，最后造成的间隔变得很小，这样最终的泛化效果可能不会太好。

为了缓解这些问题，引入了 “软间隔（soft margin）”，即容许一些样本点跨越间隔边界甚至是超平面。以下图中一些离群点就跨过了间隔边界。

因而为每一个样本点引入松弛变量 \(\large{\xi_i}\)，优化问题变为：

\[ \begin{aligned} \min\limits_{\boldsymbol{w}, b,\boldsymbol{\xi}} & \;\; \frac12 ||\boldsymbol{w}||^2 + C \,\sum\limits_{i=1}^m \xi_i \\[1ex] {\text { s.t. }} & \;\; y_{i}\left(\boldsymbol{w}^{\top} \boldsymbol{x}_{i}+b\right) \geq 1 - \xi_i, \quad i=1,2, \ldots, m \\[1ex] & \;\; \xi_i \geq 0, \quad i=1,2, \ldots m \end{aligned} \tag{1.1} \]

由上式能够看出：

1. 离群点的松弛变量值越大，点就离间隔边界越远。

2. 全部没离群的点松弛变量都等于0，即这些点都知足 \(y_{i}\left(\boldsymbol{w}^{\top} \boldsymbol{x}_{i}+b\right) \geqslant 1\) 。

3. \(C > 0\) 被称为惩罚参数，即为 scikit-learn 中的 svm 超参数C。当C设的越大，意味着对离群点的惩罚就越大，最终就会有较少的点跨过间隔边界，模型也会变得复杂。而C设的越小，则较多的点会跨过间隔边界，最终造成的模型较为平滑。

该优化问题的求解方法与前篇相似，为每条约束引入拉格朗日乘子： \(\alpha_i \geqslant 0, \; \beta_i \geqslant 0\) ，\((1.1)\) 式的拉格朗日函数为：
\[ \mathcal{L}(\boldsymbol{w}, b, \boldsymbol{\xi}, \boldsymbol{\alpha}, \boldsymbol{\beta}) = \frac12 ||\boldsymbol{w}||^2 + C \sum\limits_{i=1}^m\xi_i + \sum\limits_{i=1}^m\alpha_i \left[1 - \xi_i - y_i(\boldsymbol{w}^{\top} \boldsymbol{x}_i + b)\right] + \sum\limits_{i=1}^m \beta_i(-\xi_i) \]

其对偶问题为：
\[ \begin{aligned} \max_{\boldsymbol{\alpha}, \boldsymbol{\beta}}\min_{\boldsymbol{w},b,\boldsymbol{\xi}} &\;\; \mathcal{L}(\boldsymbol{w}, b, \boldsymbol{\xi}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \\[1ex] \text{s.t.} &\;\; \alpha_i \geq 0, \quad i=1,2, \ldots m \\[1ex] & \;\;\beta_i \geq 0, \quad i = 1,2, \ldots m \end{aligned} \tag{1.3} \]

上式内层对 \((\boldsymbol{w}, b, \boldsymbol{\xi})\) 的优化属于无约束优化问题，则令偏导为零：
\[ \begin{align} \frac{\partial \mathcal{L}}{\partial \boldsymbol{w}} = \boldsymbol{0} & \implies \boldsymbol{w} = \sum\limits_{i=1}^m \alpha_i y_i \boldsymbol{x}_i \qquad\qquad \tag{1.4} \\ \frac{\partial \mathcal{L}}{\partial b} = 0 & \implies \sum\limits_{i=1}^m \alpha_iy_i = 0 \qquad\qquad\quad\; \tag{1.5} \\ \frac{\partial \mathcal{L}}{\partial \boldsymbol{\xi}} = \boldsymbol{0} & \implies \beta_i = C - \alpha_i \qquad\qquad\quad\; \tag{1.6} \end{align} \]

将 \((1.4) \sim (1.6)\) 式代入 \((1.2)\) 式得：
\[ \begin{aligned} \mathcal{L}(\boldsymbol{w}, b, \boldsymbol{\xi}, \boldsymbol{\alpha}, \boldsymbol{\beta}) &= \frac12 \sum\limits_{i=1}^m\sum\limits_{j=1}^m \alpha_i\alpha_jy_iy_j\boldsymbol{x}_i^{\top}\boldsymbol{x}_j + C\sum\limits_{i=1}^m \xi_i + \sum\limits_{i=1}^m\alpha_i(1 - \xi_i) - \sum\limits_{i=1}^m(C - \alpha_i)\xi_i \\[1ex] & = \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{j=1}^m \alpha_i\alpha_jy_iy_j\boldsymbol{x}_i^{\top}\boldsymbol{x}_j \end{aligned} \]

又由 \((1.6)\) 式： \(\beta_i = C - \alpha_i \geqslant 0\) ，于是 \(0 \leqslant \alpha_i \leqslant C\) ，因而最后的优化问题化简为：
\[ \begin{aligned} \max_\alpha &\;\; \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{j=1}^m \alpha_i\alpha_jy_iy_j\boldsymbol{x}_i^{\top}\boldsymbol{x}_j \\[1ex] \text{s.t.} & \;\; \sum\limits_{i=1}^m \alpha_iy_i = 0 \\[1ex] & \;\; 0 \leqslant \alpha_i \leqslant C, \quad i = 1,2,\ldots m \end{aligned} \tag{1.7} \]

与硬间隔 svm 同样，软间隔 svm 的超平面参数 \((\boldsymbol{w}, b)\) 一样由支持向量决定，然而对于软间隔 svm 中支持向量的讨论是一件比较搞脑子的事情，由于可分类的状况众多，下面进行详细讨论。不过首先回顾一下前文中硬间隔 svm 的支持向量 —— 就两种状况： (1) \(\alpha_i > 0, \;y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1\) ，表示在间隔边界上的样本为支持向量； (2) \(\alpha_i = 0, \; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) > 1\) ，不是支持向量。

对于软间隔 svm ，推导其支持向量须要的仍然是 \((1.3)\) 式最优解的 KKT 条件：
\[ \begin{cases} 原始问题可行: & \begin{cases} 1 - \xi_i - y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) \leq 0 \qquad\qquad\quad\;\;\,\, (1.8)\\[1ex] -\xi_i \leq 0 \qquad\qquad\qquad\qquad\qquad\qquad\quad\;\;\; (1.9) \end{cases} \\[4ex] 对偶问题可行: & \begin{cases} \alpha_i \geq 0 \qquad\qquad\qquad\qquad\qquad\qquad\qquad\; (1.10) \\[1ex] \beta_i = C - \alpha_i \geq 0 \qquad\qquad\qquad\qquad\qquad (1.11) \end{cases} \\[4ex] 互补松弛: & \begin{cases} \alpha_i(1 - \xi_i - y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b)) = 0 \qquad\qquad (1.12) \\[1ex] \beta_i \xi_i = 0 \qquad\qquad\qquad\qquad\qquad\qquad\quad\;\,\, (1.13) \end{cases} \end{cases} \]

下面分状况讨论：

\((1) \;\; \alpha_i = 0\)， 由 \((1.4)\) 式 \(\boldsymbol{w} = \sum\limits_{i=1}^m \alpha_iy_i\boldsymbol{x}_i = 0\) ，不是支持向量。

\((2) \;\, 0 < \alpha_i < C \implies (1.11)式:\; \beta_i > 0 \implies (1.13)式:\; \xi_i = 0 \implies (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1\) ，该样本在间隔边界上。 为何不会出现 \(\xi_i > 0\) 的状况？ 回顾 [拉格朗日乘子法 - KKT条件 - 对偶问题] 第二节 KKT 条件：
\[ \begin{cases} g(\boldsymbol{x}) < 0, & \lambda = 0 \\[1ex] g(\boldsymbol{x}) = 0, & \lambda > 0 \end{cases} \quad \iff \quad \lambda \geqslant 0, \;\;\lambda \,g(\boldsymbol{x}) = 0 \]
于是若 \((1.13)\) 式中拉格朗日乘子 \(\beta_i > 0\) ，则 \(\xi_i = 0\) 。

\((3) \;\; \alpha_i = C \implies (1.11) 式:\; \beta_i = 0 \implies (1.13)式:\; \xi_i > 0 \implies\)
\[ \qquad \begin{cases} 0 < \xi_i < 1, \quad (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1 - \xi_i \in (0,1),\;\; 样本在间隔边界和分离超平面之间 \\[2ex] \xi_i = 1, \qquad\quad\, (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1 - \xi_i = 0,\qquad\, 样本在分离超平面上 \\[2ex] \xi_i > 1, \quad\qquad\, (1.12)式:\; y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b) = 1 - \xi_i < 0,\qquad\, 样本在分离超平面另外一侧,意味着其被误分类 \end{cases} \]

有了上述讨论后，咱们来看软间隔 svm 如何获得最终的参数 \((\boldsymbol{w}, b)\) 。其中 \(\boldsymbol{w}\) 和硬间隔同样由 \((1.4)\) 式得出，而 \(b\) 的状况则不一样。选择一个支持向量 \((\boldsymbol{x}_s, y_s)\) 使得 \(\alpha_i > 0\) ，则由 \((1.12)\) 式并利用 \(y_s^2 =1\) ：
\[ 1 - \xi_s - y_s(\boldsymbol{w}^{\top}\boldsymbol{x}_s + b) = y_s^2 - y_s^2\xi_s - y_s(\boldsymbol{w}^{\top}\boldsymbol{x}_s + b) = 0 \;\;\large\color{lime}{\implies}\;\; \color{black}\normalsize b = y_s - y_s\xi_s - \boldsymbol{w}^{\top}\boldsymbol{x}_s \]

如今因为 \(b\) 还未求出，因此咱们不知道超平面的具体样貌，若是选择了一个 \(\xi_s > 0\) 的支持向量，就没法得知 \(\xi_s\) 的具体值是多少 (由 (1.12) 式: \(\xi_s = 1 - y_i(\boldsymbol{w}^{\top}\boldsymbol{x}_i + b)\) )，也就没法求出 \(b\) 。所以这里须要使 \(\xi_s = 0\) 才能求出 \(b\) ，由上文讨论可知只有 \(0 < \alpha_s < C\) ，即样本在间隔边界上时，\(\xi_s = 0\) 。于是不一样于硬间隔 svm， 软间隔求 \(b\) 选择的支持向量不是任一支持向量，而是必须知足条件的支持向量，这说明软间隔 svm 的超平面确实刻意忽略了间隔边界以内的那些离群点，由于这些点都有 \(\xi_i > 0\) 。


固然也能够对此类支持向量求平均获得 \(b\)：
\[ b = \frac{1}{|SV_{<C}|} \sum\limits_{s \in SV_{<C}} \left( y_s - \sum\limits_{i \in SV_{<C}} \alpha_i y_i \boldsymbol{x}_i^\top\boldsymbol{x}_s \right) \]
其中 \(SV_{<C}\) 表示知足 \(0 < \alpha_s<C\) 的支持向量。

核函数（非线性svm）

---

前面展现的硬间隔和软间隔 svm 主要是用于处理线性分类问题，然而现实中不少分类问题是非线性的，以下图所示，不管怎样一个线性超平面都没法很好地将样本点分类：

因此在此引入核函数（kernel function），构造非线性svm，以下图所示，左图使用的是多项式核函数，右图使用的是高斯核函数，两者均能将样本点很好地分类：

核函数的主要做用是将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。下图显示原来在二维空间不可分的两类样本点，在映射到三维空间后变为线性可分 :

但回到原来的二维空间中，决策边界就变成非线性的了：

核函数是如何将原始空间映射到高维的特征空间的？ 下面先举个例子：

假设作一个2维到3维的映射，\(\large{\Phi}: \;\mathbb{R}^2 \longrightarrow \mathbb{R}^3\)

\[ \phi(\boldsymbol{x}) = \phi \begin{pmatrix}x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1^2 \\ \sqrt{2}\,x_1x_2 \\ x_2^2\end{pmatrix} \]
求 \(\phi(\boldsymbol{a})\) 和 \(\phi(\boldsymbol{b})\) 的内积：

\[ \begin{aligned} \phi(\textbf{a})^T \phi(\textbf{b}) & = \begin{pmatrix} a_1^2 \\ \sqrt2 \, a_1a_2 \\ a_2^2 \end{pmatrix}^T \cdot \begin{pmatrix} b_1^2 \\ \sqrt2 \, b_1b_2 \\ b_2^2 \end{pmatrix} = a_1^2b_1^2 + 2a_1b_1a_2b_2 + a_2^2b_2^2 \\[1ex] & = (a_1b_1 + a_2b_2)^2 = \begin{pmatrix}\begin{pmatrix} a_1 \\ a_1 \end{pmatrix}^T \begin{pmatrix} b_1 \\ b_1 \end{pmatrix}\end{pmatrix}^2 = ({\textbf{a}}^T {\textbf{b}})^2 \end{aligned} \]
能够看出转换后向量的内积等于原向量内积的平方，即 \(\phi (\textbf{a})^T \phi(\textbf{b}) = (\textbf{a}^T \textbf{b})^2\) 。

函数 \(\kappa(\textbf{a}, \textbf{b}) = (\textbf{a}^T\textbf{b})^2\) 被成为二次多项核函数，因而若是想计算高维特征空间的内积 \(\phi(\textbf{a})^T \phi(\textbf{b})\)，咱们只需计算核函数，即原向量内积的平方 \((\textbf{a}^T\textbf{b})^2\) 就能够了。这样作的好处有：

• 将样本点由原始空间映射到高维空间后，有大几率使原来线性不可分的问题变为线性可分。

• 核函数的计算是在低维特征空间计算的，它避免了在高维特征空间下计算内积的超高计算量。

下图也能看出在原始空间和高维空间下计算量的巨大差别：

接下来对问题做正式的定义： 数据在原始特征空间 \(\mathbb{R}^d\) 不是线性可分的，则但愿经过一个映射 \(\large{\Phi}: \;\mathbb{R}^d \longrightarrow \mathbb{R}^\tilde{d}\) ，使得数据在新的特征空间 \(\mathbb{R}^\tilde{d}\) 中线性可分，则软间隔 svm 基本型变为：
\[ \begin{aligned} \min\limits_{\boldsymbol{w}, b,\boldsymbol{\xi}} & \;\; \frac12 ||\boldsymbol{w}||^2 + C \,\sum\limits_{i=1}^m \xi_i \\[1ex] {\text { s.t. }} & \;\; y_{i}\left(\boldsymbol{w}^{\top} \phi(\boldsymbol{x}_{i})+b\right) \geq 1 - \xi_i, \quad i=1,2, \ldots, m \\[1ex] & \;\; \xi_i \geq 0, \quad i=1,2, \ldots m \end{aligned} \]

找到一个核函数 \(\mathcal{K} (\boldsymbol{x}_i, \boldsymbol{x}_j) = \phi(\boldsymbol{x}_i)^{\top} \phi(\boldsymbol{x}_j)\) ，则相应的对偶型转化为核函数型：
\[ \begin{aligned} \max_\alpha &\;\; \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{i=1}^m \alpha_i\alpha_jy_iy_j \phi(\boldsymbol{x}_i)^{\top}\phi(\boldsymbol{x}_j) \\[1ex] \text{s.t.} & \;\; \sum\limits_{i=1}^m \alpha_iy_i = 0 \\[1ex] & \;\; 0 \leqslant \alpha_i \leqslant C, \quad i = 1,2,\ldots m \end{aligned} \quad \Large{\implies} \normalsize \quad \begin{aligned} \max_\alpha &\;\; \sum\limits_{i=1}^m \alpha_i - \frac12 \sum\limits_{i=1}^m\sum\limits_{i=1}^m \alpha_i\alpha_jy_iy_j \kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) \\[1ex] \text{s.t.} & \;\; \sum\limits_{i=1}^m \alpha_iy_i = 0 \\[1ex] & \;\; 0 \leqslant \alpha_i \leqslant C, \quad i = 1,2,\ldots m \end{aligned} \]

这样使得计算复杂度由 \(\mathcal{O}(\tilde{d})\) 降为 \(\mathcal{O} (d)\) 。求解后的分离超平面为：
\[ \begin{aligned} f(\boldsymbol{x}) & = \boldsymbol{w}^{\top} \phi(\boldsymbol{x}) + b \\[1ex] & = \sum\limits_{i \in SV} \alpha_i y_i \phi(\boldsymbol{x}_i)\phi(\boldsymbol{x}) + b \\[1ex] & = \sum\limits_{i \in SV} \alpha_i y_i \kappa(\boldsymbol{x}_i, \boldsymbol{x}) + b \end{aligned} \]
其中 \(SV\) 表明全部支持向量的集合。这样咱们就能以较小的计算量解决非线性分类问题，甚至都不须要知道低维空间的数据是怎样映射到高维空间的，只须要在原来的低维空间计算核函数就好了。

常见核函数比较：

名称	形式	优势	缺点
线性核	\(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = \boldsymbol{x}_i^{\top}\boldsymbol{x}_j\)	速度快，可解释性强。	没法解决非线性可分问题。
多项式核	\(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = (\lambda \, \boldsymbol{x}_i^{\top}\boldsymbol{x}_j + \eta)^d\)	比线性核更通常，\(d\) 直接描述了被映射空间的复杂度。	参数多 (有 \(\lambda, \eta, d\) 要选)，且当 \(d\) 很大时会致使计算不稳定。
RBF 核	\(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = \text{exp} \left(- \frac{||\boldsymbol{x}_i- \boldsymbol{x}_j||^2}{2 \sigma^2} \right)\)	只有一个参数，无计算不稳定问题，拟合能力强。	可解释性差，计算慢，易过拟合。

因为 RBF 核是目前最主流的核函数，因此在这里以其举例介绍：

RBF 核函数全称径向基函数 (Radial Basis Function)，其表达式 \(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) = \text{exp} \left(- \frac{||\boldsymbol{x}_i- \boldsymbol{x}_j||^2}{2 \sigma^2} \right)\) 亦可写为 \(\kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) =\text{exp} (- \gamma||\boldsymbol{x}_i- \boldsymbol{x}_j||^2)\) ，范围为 \((0, 1]\) ，其中 \(\gamma = \frac{1}{2\sigma^2}\) 。


RBF 核可理解为两个样本点的类似程度，若两点 \((\boldsymbol{x}_i, \boldsymbol{x}_j)\) 的类似程度很大，则距离 \(||\boldsymbol{x}_i - \boldsymbol{x}_j||^2\) 越小，使得 \(\text{exp} (- \gamma||\boldsymbol{x}_i- \boldsymbol{x}_j||^2)\) 越大，这意味着高斯核具备“局部（local）”特征，只有相对邻近的样本点会对测试点的分类产生较大做用。 \(\gamma > 0\)，即为 scikit-learn 中的 svm 超参数 \(\gamma\)，\(\gamma\) 越大，意味着两个点只有至关接近时才会被判为类似，这样决策边界会变得较为扭曲，容易过拟合，由于只取决于较少的几个样本点。相反，\(\gamma\) 越小，大量的点被判为近似，在模型中起了做用，于是致使模型变得简单，容易欠拟合。


RBF 核还有个吸引人的特性，那就是能够从原始空间映射到无限维特征空间，下面举例说明式如何作到的： 设 \(\sigma = \sqrt{\frac12}\) ，则 RBF 核的转换以下 (两种颜色分别表示 \(\boldsymbol{x}_i\) 和 \(\boldsymbol{x}_j\) 对应的部分)：

\[ \begin{align*} \kappa(\boldsymbol{x}_i, \boldsymbol{x}_j) & = \text{exp}(-||\color{blue}{\boldsymbol{x}_i} - \color{fuchsia}{\boldsymbol{x}_j} ||^2) \tag{2.1} \\ & = \color{blue}{\text{exp}(-||\boldsymbol{x}_i||^2)} \,\color{fuchsia}{\text{exp}(-||\boldsymbol{x}_j||^2)} \text{exp} (2\color{blue}{||\boldsymbol{x}_i||} \, \color{fuchsia}{||\boldsymbol{x}_j||}) \tag{2.2} \\ & = \color{blue}{\text{exp}(-||\boldsymbol{x}_i||^2)} \,\color{fuchsia}{\text{exp}(-||\boldsymbol{x}_j||^2)} \left(\sum\limits_{n=0}^\infty \frac{(2\color{blue}{||\boldsymbol{x}_i||} \, \color{fuchsia}{||\boldsymbol{x}_j||})^n}{n\, !}\right) \tag{2.3} \\ & = \sum\limits_{n=0}^\infty\left(\color{blue}{\text{exp}(-||\boldsymbol{x}_i||^2)} \color{fuchsia}{\text{exp} (-||\boldsymbol{x}_j||^2)}\color{blue}{\sqrt{\frac{2^n}{n\,!}}}\color{fuchsia}{\sqrt{\frac{2^n}{n\,!}}} \color{blue}{||\boldsymbol{x}_i||^n} \color{fuchsia}{||\boldsymbol{x}_j||^n}\right) \tag{2.4} \\ & = \color{blue}{\phi(\boldsymbol{x}_i)}^{\top}\color{fuchsia}{\phi(\boldsymbol{x}_j)} \end{align*} \]

于是映射的无限维空间为 \(\phi(\boldsymbol{x}) = \text{exp}(-||\boldsymbol{x}||^2) \begin{bmatrix} 1 \\ \sqrt{\frac{2}{1!}}x \\ \sqrt{\frac{2^2}{2!}}x^2 \\ \vdots \\ \sqrt{\frac{x^\infty}{\infty!}}x^\infty \end{bmatrix}\)

上面的 \((2.2)\) 式到 \((2.3)\) 式使用了 \(e^x\) 的泰勒展开，泰勒公式的简单解释就是用多项式函数去逼近原函数，由于用多项式函数每每求解更加容易，而多项式中各项的系数则为原函数在某一点的n阶导数值除以n阶乘。

已知函数 \(f(x)\) 在 \(x=x_0\) 处 \(n\) 阶可导，那么：
\[ \begin{aligned} f(x) &= f(x_0) + f'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2 + \cdots + \frac{f^{(n)}(x_0)}{n!}(x-x_0)^n \\ & = \sum\limits_{n=0}^{\infty}\frac{f^{(n)}x_0}{n!}(x - x_0)^n \end{aligned} \]
例如，\(x_0 = 0, \;\; f(x) = e^x\)时，\(e^x = \sum\limits_{n=0}^{\infty}\frac{x^n}{n!} = 1+x+\frac{x^2}{2!} + \frac{x^3}{3!} + \cdots\) ， 明白了这个后相信不难理解上面 RBF 核的推导。

/