[林轩田]12-非线性变换

[TOC]

二次方程的hypothesis

对于非线性的数据分类，若是咱们使用线性模型，就会使得Ein很大，分得很差。

对称中心在原点的二次方程

如今咱们考虑如何用二次方程（圆的方式）来进行separate: 咱们可使用半径平方为0.6的圆能够将它分开 。

这里咱们进行非线性的变换，实现坐标系的变换。从x空间变到z空间。在x系里面圆圈可分的状况在z系里面变得线性可分了。在x系里面能够用圆分开则在z系里面必定能够线性可分。

可是在z空间里面能够用直线分开的情形，在x空间里面就多是圆、椭圆、双曲线等状况，因此说在z空间里面的直线在x空间里面对应的是特殊二次曲线(圆心在坐标原点)，三个参数。

通常情形的二次式

把全部的二次项、全部的一次项和常数项都要包含进来，这样在Z空间里面的直线对应x空间的二次hypothesis
这个权值W须要6个参数

因此咱们若是可以在z空间里面找到好的线性分割，就能在x空间里找到好的二次曲线分割。

非线性变换

空间变换

1. 首先把原始在x空间的数据变换到z空间的数据。

2. 在z空间中获得好的线性感知机。

3. 在z空间对获得的模型g进行反变换获得x空间应该有的二次曲线模型。

而实际上第三步并非取逆变换，而是考察一个点在x空间的分类的时候，把这个点先转换到z空间，而后看它是哪一个分类，咱们就知道它在x空间里面应该是哪一个分类了。

非线性变换的代价

以前从原始特征用领域知识变换到具体特征就是这样。

z空间的维度

从d维度特征的二次x空间转化为一次z空间是多少个维度。

z空间的计算和存储代价

d维Q次特征空间转化到1次空间时的特征维度是 $$ C_{Q+d}^{d} $$

证实：d维Q次特征空间转化到1次空间时的特征维度是$$ C_{Q+d}^{d} $$

能够把问题转化为求d个变量组成的Q次多线程里面，各类子项总共有多少个。转化为相同的问题就是：
把k个相同的物体分给d我的，不必定每一个人都分到，也不必定分完，问有多少种分法？
那么这个问题是比较复杂的，咱们高中的时候学的问题是下面这个类型的：

问题1. 把k个相同物体分给d我的，每人最少1个，要求分完，那么有几种分法？
设第i我的分得$$ x_i $$个物体，则$$ 0 < x_i < k $$ 用咱们熟悉的插板法，在k-1个间隙里面插入d-1个板（分红d份），分法有

$$ C_{(k-1)}^{(d-1)} $$

问题2. 把k个相同的物体分给d我的，不必定每一个人都分到，但物体必须分完，问有多少种分法？
设第i我的分得$$ x_i $$个物体，则$$ 0leqslant x_i leqslant k $$，咱们能够把它转化一下
$$ x_1+x_2+...+x_d = k rightleftharpoons (x_1+1)+(x_2+1)+(x_3+1)+...+(x_d+1) = k+d $$

$$ 0leqslant x_i leqslant k rightleftharpoons 1 leqslant x_i+1 leqslant k+1 $$
能够认为把k+d个物体分给d我的，使用插板法 结果为

$$ C_{k+d-1}^{d-1} $$

到这里咱们就能够把咱们的问题转化为这里面相同的问题了，不分完能够理解为还有一个潜在的第k+1我的，把最后剩下的物体分给它。因此这个问题就转化为 把k个物体分给d+1我的，不必定每一个人都分到，但物体必须分完。也转化为把k+d+1个物体分给d+1我的，每人必须分到，物体必须分完，因此结果为 $$ C_{k+d}^{d} $$

应该选择怎样的模型。

模型越复杂 $$ E_{in} $$越小,若是你选择的模型的维度比较高，会使得$$ E_{in} $$ 会使得 $$E_{out} / E_{in}$$ 差异会很远