机器学习入门，引入 k 近邻机器算法｜Python 主题月

本文正在参加「Python主题月」，详情查看 活动连接

k临近算法介绍

    最简单最初级的分类器是将所有的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性彻底匹配时，即可以对其进行分类。可是怎么可能全部测试对象都会找到与之彻底匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，致使一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。

    KNN是经过测量不一样特征值之间的距离进行分类。它的思路是：若是一个样本在特征空间中的k个最类似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K一般是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

    下面经过一个简单的例子说明一下：以下图，绿色圆要被决定赋予哪一个类，是红色三角形仍是蓝色四方形？若是K=3，因为红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，若是K=5，因为蓝色四方形比例为3/5，所以绿色圆被赋予蓝色四方形类。由此也说明了KNN算法的结果很大程度取决于K的选择。

     在KNN中，经过计算对象间距离来做为各个对象之间的非类似性指标，避免了对象之间的匹配问题，在这里距离通常使用欧氏距离或曼哈顿距离：

                      

    同时，KNN经过依据k个对象中占优的类别进行决策，而不是单一的对象类别决策。这两点就是KNN算法的优点。

    接下来对KNN算法的思想总结一下：就是在训练集中数据和标签已知的状况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为类似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：

1）计算测试数据与各个训练数据之间的距离；

2）按照距离的递增关系进行排序；

3）选取距离最小的K个点；

4）肯定前K个点所在类别的出现频率；

5）返回前K个点中出现频率最高的类别做为测试数据的预测分类。

目标

预测幸福感

收集调查数据

1. 甲同窗：月薪 1.0 万元、加班 2 小时、通勤 0.5 小时
2. 乙同窗：月薪 2.0 万元、加班 3 小时、通勤 1 小时

数据结构化处理

咱们把数据按照[月薪(万元)、加班(小时)、通勤(小时)]格式处理

data_happy = [
[1.5, 1.5, 0.5], [1.6, 2.1, 0.2], [1.8, 1.4, 0.5], [1.5, 2.0, 0.3],
[1.7, 1.0, 0.4],
[1.3, 1.0, 0.3], [1.5, 2.0, 0.5], [1.4, 1.7, 0.4], [1.6, 0.5, 0.5],
[1.9, 2.0, 0.3],
]
data_sad = [
[0.8, 2.3, 0.8], [1.0, 2.6, 0.9], [2.0, 1.0, 0.5], [1.2, 3.0, 1.1],
[1.8, 3.5, 1.3],
复制代码

调查数据可视化处理

    咱们训练一个AI的方法：     已有数据 → 训练出模型 → 新数据（XX 同窗：月薪 1.5 万元、 加班 2 小时、通勤 0.8 小时） → 预测其幸福感

K值选择

    经过上面那张图咱们知道 K 的取值比较重要，那么该如何肯定 K 取多少值好呢？     答案是经过交叉验证（将样本数据按照必定比例，拆分出训练用的数据和验证用 的数据，好比 9：1 拆分出部分训练数据和验证数据），从选取一个较小的 K 值 开始，不断增长 K 的值，而后计算验证集合的方差，最终找到一个比较合适的 K 值。     经过交叉验证（轮流将其中 9 份作训练 1 份作验证）计算方差，大体会获得下面 这样的图：

总结

k 近邻算法，分为 4 大步骤：

1. 准备数据，并对数据进行预处理（清洗：格式、噪点等）
2. 距离的计算
3. 对距离升序排列，而后选出前 k 个距离最小的点
4. 根据少数服从多数的原则，将新样本点归类