统计学习方法 李航---第3章 k近邻法

第3章 k近邻法   

k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。 k近邻法假设给定一个训练数据集，其 中的实例类别己定。分类时，对新的实例，根据其k个最近邻的训练实例的类别 经过多数表决等方式进行预测。k近邻 法实际上利用训练数据集对特征向量空间进行划分，并做为其分类的“模型”。k 值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。

3.1 k近邻算法

3.2   k近邻模型

k近邻法三个基本要素：距离度量、k值的选择和分类决策规则

 

距离度量:   经常使用 欧氏距离，其余距离

L_p 距离(与distance)

当p=2时，称为欧氏距离(Euclidean distance)

当p=1时，称为曼哈顿距离(Manhattan distance )

Minkowski距离

k值的选择

若是选择较小的k值，“学

习”的近似偏差( approximation ertor)会减少，只有与输入实例较近的(类似的)

训练实例才会对预测结果起做用。但缺点是“学习”的估计偏差(estimarion ertor)

会增大，预测结果会对近邻的实例点很是敏感。若是邻近的实例点恰巧是噪声，

预测就会出错.换句话说，k值的减少就意味着总体模型变得复杂，容易发生过

拟合。

若是选择较大的k值，正好相反，

k值的增大

就意味着总体的模型变得简单.

若是k=N，那么不管输入实例是什么，都将简单地预测它属于在训练实例

中最多的类。这时，模型过于简单，彻底忽略训练实例中的大量有用信息，是不

可取的.

在应用中，k值通常取一个比较小的数值.一般采用 交叉验证法来选取最优

的k值.

 

分类决策规则

经常使用：多数表决规则(majority voting rule)：0-1

损失函数下

经验风险最小化.

 

 

3.3 k近邻法的实现:kd树

kd树 是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形

数据结构。kd树是二叉树，表示对k维空间的一个划分(partition)。构造kd树相

当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区

域。kd树的每一个结点对应于一个k维超矩形区域.

构造kd树:

• 输入：k维空间数据集

1. 构造根结点，使根结点对应于k维空间中包含全部实
   例点的超矩形区域；
2. 经过下面的递归方法，不断地对k维空间进行切分，生成子结
   点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分点，确
   定一个超平面。这个超平面经过选定的切分点并垂直于选定的坐标轴，将当前超矩
   形区域切分为左右两个子区域(子结点)；这时，实例被分到两个子区域。
3. temp这个
   过程直到子区域内没有实例时终止(终止时的结点为叶结点)。在此过程当中，将
   实例保存在相应的结点上。

平衡kd树构造 ： 步骤 2中，

坐标轴选择： 对深度为j的结点，选择x(i)为切分的坐标轴，i = j(modk)+1；

切分点 选择：选定坐标轴上的中位 数(median)为切分点。 平衡的kd树搜索时 的效率未必是最优的.

 

 

搜索kd树：

算法3.3(用kd树的最近邻搜索)

输入: 已构造的kd树:目标点x;

输出x的最近邻.

1. 在kd树中找出包含目标点x的叶结点:从根结点出发，递归地向下访问kd树.若目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，不然移动到右子结点.直到子结点为叶结点为止.
2. 以此叶结点为“当前最近点”.
3. 递归地向上回退，在每一个结点进行如下操做:
1. 若是该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点“
2. 当前最近点必定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另外一子结点对应的区域是否有更近的点。具体地，检查另外一子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。若是相交，可能在另外一个子结点对应的区域内存在距目标点更近的点，移动到另外一个子结点。接着，递归地进行最近邻搜索。 若是不相交，向上回退。
4. 当回退到根结点时，搜索结束最后的“当前最近点”即为x的最近邻点..

    若是实例点是随机分布的，kd树搜索的平均计算复杂度是O(log N)，这里N 是训练实例数。kd树更适用于训练实例数远大于空间维数时的k近邻搜索。当空 间维数接近训练实例数时，它的效率会迅速降低，几乎接近线性扫描。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

来自为知笔记(Wiz)