机器学习（一）——K-近邻（KNN）算法

时间 2019-11-09

标签机器学习近邻 knn 算法繁體版

原文原文链接

最近在看《机器学习实战》这本书，由于本身自己很想深刻的了解机器学习算法，加之想学python，就在朋友的推荐之下选择了这本书进行学习。 python

一 . K-近邻算法（KNN）概述 算法

最简单最初级的分类器是将所有的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性彻底匹配时，即可以对其进行分类。可是怎么可能全部测试对象都会找到与之彻底匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，致使一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。编程

KNN是经过测量不一样特征值之间的距离进行分类。它的思路是：若是一个样本在特征空间中的k个最类似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K一般是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。小程序

下面经过一个简单的例子说明一下：以下图，绿色圆要被决定赋予哪一个类，是红色三角形仍是蓝色四方形？若是K=3，因为红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，若是K=5，因为蓝色四方形比例为3/5，所以绿色圆被赋予蓝色四方形类。app

由此也说明了KNN算法的结果很大程度取决于K的选择。机器学习

在KNN中，经过计算对象间距离来做为各个对象之间的非类似性指标，避免了对象之间的匹配问题，在这里距离通常使用欧氏距离或曼哈顿距离：函数式编程

同时，KNN经过依据k个对象中占优的类别进行决策，而不是单一的对象类别决策。这两点就是KNN算法的优点。函数

接下来对KNN算法的思想总结一下：就是在训练集中数据和标签已知的状况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为类似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：学习

1）计算测试数据与各个训练数据之间的距离；测试

2）按照距离的递增关系进行排序；

3）选取距离最小的K个点；

4）肯定前K个点所在类别的出现频率；

5）返回前K个点中出现频率最高的类别做为测试数据的预测分类。

二 .python实现

首先呢，须要说明的是我用的是python3.4.3，里面有一些用法与2.7仍是有些出入。

创建一个KNN.py文件对算法的可行性进行验证，以下：

#coding:utf-8

from numpy import *
import operator ##给出训练数据以及对应的类别
def createDataSet(): group = array([[1.0,2.0],[1.2,0.1],[0.1,1.4],[0.3,3.5]]) labels = ['A','A','B','B'] return group,labels ###经过KNN进行分类
def classify(input,dataSe t,label,k): dataSize = dataSet.shape[0] ####计算欧式距离
    diff = tile(input,(dataSize,1)) - dataSet sqdiff = diff ** 2 squareDist = sum(sqdiff,axis = 1)###行向量分别相加，从而获得新的一个行向量
    dist = squareDist ** 0.5
    
    ##对距离进行排序
    sortedDistIndex = argsort(dist)##argsort()根据元素的值从大到小对元素进行排序，返回下标
 classCount={} for i in range(k): voteLabel = label[sortedDistIndex[i]] ###对选取的K个样本所属的类别个数进行统计
        classCount[voteLabel] = classCount.get(voteLabel,0) + 1
    ###选取出现的类别次数最多的类别
    maxCount = 0 for key,value in classCount.items(): if value > maxCount: maxCount = value classes = key return classes

接下来，在命令行窗口输入以下代码：

#-*-coding:utf-8 -*-
import sys sys.path.append("...文件路径...") import KNN from numpy import * dataSet,labels = KNN.createDataSet() input = array([1.1,0.3]) K = 3 output = KNN.classify(input,dataSet,labels,K) print("测试数据为:",input,"分类结果为：",output)

回车以后的结果为：

测试数据为： [ 1.1 0.3] 分类为： A

答案符合咱们的预期，要证实算法的准确性，势必还须要经过处理复杂问题进行验证，以后另行说明。

这是第一次用python编的一个小程序，势必会遇到各类问题，在这次编程调试过程当中遇到了以下问题：

　1 导入.py文件路径有问题，所以须要在最开始加以下代码：

　　import sys

　　sys.path.append("文件路径")，这样就不会存在路径有误的问题了；

2 在python提示代码存在问题时，必定要及时改正，改正以后保存以后再执行命令行，这一点跟MATLAB是不同的，因此在python中最好是敲代码的同时在命令行中一段一段的验证；

　3 在调用文件时函数名必定要写正确，不然会出现：'module' object has no attribute 'creatDataSet'；

　4 'int' object has no attribute 'kclassify'，这个问题出现的缘由是以前我讲文件保存名为k.py,在执行

output = K.classify(input,dataSet,labels,K)这一句就会出错。根据函数式编程的思想，每一个函数均可以看为是一个变量而将K赋值后，调用k.py时就会出现问题。


三 MATLAB实现
   以前一直在用MATLAB作聚类算法的一些优化，其次就是数模的一些经常使用算法，对于别的算法，还真是没有上手编过，基础还在，思想还在，固然要动手编一下，也是不但愿在学python的同时对MATLAB逐渐陌生吧，走走停停，停很重要。
   首先，创建KNN.m文件，以下：

%% KNN clear all clc %% data trainData = [1.0,2.0;1.2,0.1;0.1,1.4;0.3,3.5]; trainClass = [1,1,2,2]; testData = [0.5,2.3]; k = 3; %% distance row = size(trainData,1); col = size(trainData,2); test = repmat(testData,row,1); dis = zeros(1,row); for i = 1:row diff = 0; for j = 1:col diff = diff + (test(i,j) - trainData(i,j)).^2; end dis(1,i) = diff.^0.5; end %% sort jointDis = [dis;trainClass]; sortDis= sortrows(jointDis');
sortDisClass = sortDis';

%% find class = sort(2:1:k); member = unique(class); num = size(member); max = 0; for i = 1:num count = find(class == member(i)); if count > max max = count; label = member(i); end end disp('最终的分类结果为：'); fprintf('%d\n',label)

运行以后的结果是，最终的分类结果为：2。和预期结果同样。

三实战

以前，对KNN进行了一个简单的验证，今天咱们使用KNN改进约会网站的效果，我的理解，这个问题也能够转化为其它的好比各个网站迎合客户的喜爱所做出的推荐之类的，固然，今天的这个例子功能也实在有限。

在这里根据一我的收集的约会数据，根据主要的样本特征以及获得的分类，对一些未知类别的数据进行分类，大体就是这样。

我使用的是python 3.4.3,首先创建一个文件，例如date.py,具体的代码以下：

#coding:utf-8

from numpy import *
import operator
from collections import Counter
import matplotlib
import matplotlib.pyplot as plt


###导入特征数据
def file2matrix(filename):
    fr = open(filename)
    contain = fr.readlines()###读取文件的全部内容
    count = len(contain)
    returnMat = zeros((count,3))
    classLabelVector = []
    index = 0
    for line in contain:
        line = line.strip() ###截取全部的回车字符
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]###选取前三个元素，存储在特征矩阵中
        classLabelVector.append(listFromLine[-1])###将列表的最后一列存储到向量classLabelVector中
        index += 1
    
    ##将列表的最后一列由字符串转化为数字，便于之后的计算
    dictClassLabel = Counter(classLabelVector)
    classLabel = []
    kind = list(dictClassLabel)
    for item in classLabelVector:
        if item == kind[0]:
            item = 1
        elif item == kind[1]:
            item = 2
        else:
            item = 3
        classLabel.append(item)
    return returnMat,classLabel#####将文本中的数据导入到列表

##绘图（能够直观的表示出各特征对分类结果的影响程度）
datingDataMat,datingLabels = file2matrix('D:\python\Mechine learing in Action\KNN\datingTestSet.txt')
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,0],datingDataMat[:,1],15.0*array(datingLabels),15.0*array(datingLabels))
plt.show()

## 归一化数据,保证特征等权重
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))##创建与dataSet结构同样的矩阵
    m = dataSet.shape[0]
    for i in range(1,m):
        normDataSet[i,:] = (dataSet[i,:] - minVals) / ranges
    return normDataSet,ranges,minVals

##KNN算法
def classify(input,dataSet,label,k):
    dataSize = dataSet.shape[0]
    ####计算欧式距离
    diff = tile(input,(dataSize,1)) - dataSet
    sqdiff = diff ** 2
    squareDist = sum(sqdiff,axis = 1)###行向量分别相加，从而获得新的一个行向量
    dist = squareDist ** 0.5
    
    ##对距离进行排序
    sortedDistIndex = argsort(dist)##argsort()根据元素的值从大到小对元素进行排序，返回下标

    classCount={}
    for i in range(k):
        voteLabel = label[sortedDistIndex[i]]
        ###对选取的K个样本所属的类别个数进行统计
        classCount[voteLabel] = classCount.get(voteLabel,0) + 1
    ###选取出现的类别次数最多的类别
    maxCount = 0
    for key,value in classCount.items():
        if value > maxCount:
            maxCount = value
            classes = key
    return classes

##测试(选取10%测试）
def datingTest():
    rate = 0.10
    datingDataMat,datingLabels = file2matrix('D:\python\Mechine learing in Action\KNN\datingTestSet.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    testNum = int(m * rate)
    errorCount = 0.0
    for i in range(1,testNum):
        classifyResult = classify(normMat[i,:],normMat[testNum:m,:],datingLabels[testNum:m],3)
        print("分类后的结果为:,", classifyResult)
        print("原结果为：",datingLabels[i])
        if(classifyResult != datingLabels[i]):
                                  errorCount += 1.0
    print("误分率为:",(errorCount/float(testNum)))
                                  
###预测函数
def classifyPerson():
    resultList = ['一点也不喜欢','有一丢丢喜欢','灰常喜欢']
    percentTats = float(input("玩视频所占的时间比?"))
    miles = float(input("每一年得到的飞行常客里程数?"))
    iceCream = float(input("每周所消费的冰淇淋公升数?"))
    datingDataMat,datingLabels = file2matrix('D:\python\Mechine learing in Action\KNN\datingTestSet2.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    inArr = array([miles,percentTats,iceCream])
    classifierResult = classify((inArr-minVals)/ranges,normMat,datingLabels,3)
    print("你对这我的的喜欢程度:",resultList[classifierResult - 1])

新建test.py文件了解程序的运行结果，代码：

#coding:utf-8

from numpy import *
import operator
from collections import Counter
import matplotlib
import matplotlib.pyplot as plt

import sys
sys.path.append("D:\python\Mechine learing in Action\KNN")
import date
date.classifyPerson()

运行结果以下图：

以上，是对本次算法的整理和总结。