简单的实现KNN算法

0：导引

K-近邻算法（KNN）


### 如何进行电影分类

众所周知，电影能够按照题材分类，然而题材自己是如何定义的?由谁来断定某部电影属于哪 个题材?也就是说同一题材的电影具备哪些公共特征?这些都是在进行电影分类时必需要考虑的问 题。没有哪一个电影人会说本身制做的电影和之前的某部电影相似，但咱们确实知道每部电影在风格 上的确有可能会和同题材的电影相近。那么动做片具备哪些共有特征，使得动做片之间很是相似， 而与爱情片存在着明显的差异呢？动做片中也会存在接吻镜头，爱情片中也会存在打斗场景，咱们 不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。可是爱情片中的亲吻镜头更多，动做片中 的打斗场景也更频繁，基于此类场景在某部电影中出现的次数能够用来进行电影分类。

本章介绍第一个机器学习算法：K-近邻算法，它很是有效并且易于掌握

1：k-近邻算法原理

简单地说，K-近邻算法采用测量不一样特征值之间的距离方法进行分类。


- 优势：精度高(计算距离)、对异常值不敏感（单纯根据距离进行分类，会忽略特殊状况）、无数据输入假定（不会对数据预先进行断定）。
- 缺点：时间复杂度高、空间复杂度高。
- 适用数据范围：数值型和标称型。

工做原理

存在一个样本数据集合，也称做训练样本集，而且样本集中每一个数据都存在标签，即咱们知道样本集中每一数据
与所属分类的对应关系。输人没有标签的新数据后，将新数据的每一个特征与样本集中数据对应的
特征进行比较，而后算法提取样本集中特征最类似数据（最近邻）的分类标签。通常来讲，咱们
只选择样本数据集中前K个最类似的数据，这就是K-近邻算法中K的出处,一般*K是不大于20的整数。
最后 ，选择K个最类似数据中出现次数最多的分类，做为新数据的分类

回到前面电影分类的例子，使用K-近邻算法分类爱情片和动做片。有人曾经统计过不少电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻次数。假若有一部未看过的电影，如何肯定它是爱情片仍是动做片呢？咱们可使用K-近邻算法来解决这个问题。

即便不知道未知电影属于哪一种类型，咱们也能够经过某种方法计算出来。首先计算未知电影与样本集中其余电影的距离，如图所示。

如今咱们获得了样本集中全部电影与未知电影的距离，按照距离递增排序，能够找到K个距 离最近的电影。假定k=3，则三个最靠近的电影依次是California Man、He's Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，所以咱们断定未知电影是爱情片。

欧几里得距离(Euclidean Distance)

欧氏距离是最多见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式以下：

2：在scikit-learn库中使用k-近邻算法

分类问题：from sklearn.neighbors import KNeighborsClassifier

 0）一个最简单的例子
    对电影进行分类
    
    
import pandas as pd
import numpy as np

# 导入数据
data = pd.read_excel('../../my_films.xlsx')

# 样本数据的提取
feature = data[['Action lens','Love lens']]
target = data['target']

# 训练模型
from sklearn.neighbors import KNeighborsClassifier

knn = KNeighborsClassifier(n_neighbors=3)   
# n_neighbors 就是k ，n_neighbors=3是找到附近的3个邻居

knn.fit(feature,target) # 传入数据   模型训练完成

# 进行预测
knn.predict([[19,19]])  # array(['Love'], dtype=object)

# 一种简单的方法肯定k的值   
# score
knn.score(feature,target)

3：预测年收入是否大于50K美圆

# 读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，而后使用模型预测一我的的年收入是否大于50
df = pd.read_csv(r'C:\Users\lucky\Desktop\爬虫+数据\oldBoy数据授课\1.KNN\1-KNN\data\adults.txt')
# 查看数据
df.head(2)


# 获取年龄、教育程度、职位、每周工做时间做为机器学习数据
# 获取薪水做为对应结果
#样本数据的提取
feature = df[['age','education_num','occupation','hours_per_week']]
target = df['salary']

# 查看数据
feature.head(3)

    age education_num   occupation  hours_per_week
0   39      13      Adm-clerical        40
1   50      13      Exec-managerial     13
2   38      9       Handlers-cleaners   40

# 数据转换，将String类型数据转换为int  由于字符串没办法作运算
# 【知识点】map方法，进行数据转换

s = feature['occupation'].unique()
dic = {}
j = 0
for i in s:
    dic[i] = j
    j += 1
feature['occupation'] = feature['occupation'].map(dic)

# 查看数据
feature.head()

    age education_num   occupation  hours_per_week
0   39      13           0              40
1   50      13           1              13
2   38      9            2              40
3   53      7            2              40
4   28      13           3              40

#样本数据的拆分  32560
x_train = feature[:32500]
y_train = target[:32500]

x_test = feature[32500:]
y_test = target[32500:]


knn = KNeighborsClassifier(n_neighbors=50)
knn.fit(x_train,y_train)
knn.score(x_test,y_test)
# 0.7868852459016393



#使用测试数据进行测试
print('真实的分类结果：',np.array(y_test))
print('模型的分类结果：',np.array(knn.predict(x_test)))

真实的分类结果： ['<=50K' '<=50K' '<=50K' '<=50K' '>50K' '<=50K' '>50K' '<=50K' '<=50K'
 '<=50K' '>50K' '<=50K' '<=50K' '>50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '>50K' '>50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '<=50K' '<=50K' '<=50K' '>50K' '<=50K' '>50K' '>50K' '<=50K' '<=50K'
 '>50K' '<=50K' '>50K' '>50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '>50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '>50K' '<=50K' '<=50K' '>50K' '<=50K' '<=50K' '>50K']

模型的分类结果： ['<=50K' '<=50K' '>50K' '<=50K' '>50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '>50K' '>50K' '<=50K' '<=50K'
 '>50K' '<=50K' '>50K' '<=50K' '<=50K' '<=50K' '<=50K' '>50K' '<=50K'
 '<=50K' '<=50K' '<=50K' '>50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K'
 '>50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K' '<=50K']



knn.predict([[50,12,4,50]])
# array(['>50K'], dtype=object)