K-近邻分类算法 简述

1. 简述：

简单地说，谷近邻算法采用测量不一样特征值之间的距离方法进行分类。

优势：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

适用数据范围：数值型和标称型。

2.工做原理是

存在一个样本数据集合，也称做训练样本集，而且样本集中每一个数据都存在标签，即咱们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每一个特征与样本集中数据对应的特征进行比较，而后算法提取样本集中特征最类似数据（最近邻）的分类标签。通常来讲，咱们只选择样本数据集中前&个最类似的数据，这就是&-近邻算法中&的出处,一般*是不大于20的整数。最后，选择&个最类似数据中出现次数最多的分类，做为新数据的分类。

3.代码例子:

  1 #!/usr/bin/env python

  2 

  3 from numpy import *

  4 ## numpy 机器学习的一个python库,

  5 import operator

  6 

  7 def createdata():

  8 

  9         group=array([[1.0,1.2],[1.1,1.1],[0.1,0.2],[0.3,0.1]])

 10 

 11         labels = ['A','A','B','B']

 12         return group,labels

 13 def classify(intx,dataset,labels,k):

 14         datasetsize = dataset.shape[0] ## 返回维度信息

 15         diffmat = tile(intx,(datasetsize,1)) -dataset ## 填充，而且作矩阵的相见

 16         sqdiffmat = diffmat**2 ## 去平方

 17         sqDis = sqdiffmat.sum(axis=1) ## 统一列相见

 18         soreddis = sqDis.argsort() ## 索引排序

 19         classcount={} 

 20         for i in range(k):

 21          

 22                 votelabel = labels[soreddis[i]]

 23                 classcount[votelabel] = classcount.get(votelabel,1)+1

 24                 

 25         sortclasscount=sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True)

 26         return sortclasscount[0][0]     

 27          

 28 if __name__ == '__main__':

 29 

 30         group,labels = createdata() 

 31 

 32         print classify([0.5,0.3],group,labels,3)