统计学习笔记（3）——k近邻法与kd树

        在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，经过多数表决的方式进行预测。因为k近邻模型的特征空间通常是n维实数向量，因此距离的计算一般采用的是欧式距离。关键的是k值的选取，若是k值过小就意味着总体模型变得复杂，容易发生过拟合，即若是邻近的实例点恰巧是噪声，预测就会出错，极端的状况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得

>>阅读原文<<