knn算法与kd树实现

最近邻法和k-近邻法 　　下面图片中只有三种豆，有三个豆是未知的种类，如何判定他们的种类？ 　　提供一种思路，即：未知的豆离哪种豆最近就认为未知豆和该豆是同一种类。由此，我们引出最近邻算法的定义：为了判定未知样本的类别，以全部训练样本作为代表点，计算未知样本与所有训练样本的距离，并以最近邻者的类别作为决策未知样本类别的唯一依据。但是，最近邻算法明显是存在缺陷的，比如下面的例子：有一个未知形状(图中

>>阅读原文<<