算法总结1：K-邻近算法

1. 算法原理：

       K-邻近算法的原理很简单，就是用你的“邻居”来推断出你的类别。用于离散型数据分析处理。

       例子1：以下图有ABCD四个用于参考的样本点，都已知晓本身的坐标位置，这时E来了，不清楚本身的位置，就分别计算出于ABCD个点的距离，发现和A最近，就认为与A的位置相同（既“类别“”相同）。

       例子2：看到好多教程用过的一个例子，以下图所示。根据样本出现的不一样类别的镜头数量判断未知电影的属于什么类别，也是算出与各个样本的距离，而后作出判别。

     专业定义：若是一个样本在特征空间中的k个最类似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
     来源：KNN算法最先是由Cover和Hart提出的一种分类算法

 2. 距离计算，K值说明

     根据原理和定义，有两个陌生的词。

（1）距离计算公式

两个样本的距离能够经过以下公式计算，又叫欧式距离。类似的样本，特征之间的值应该都是相近的。
好比说，a(a1,a2,a3),b(b1,b2,b3)

（2）K的取值

所谓K值就是设置一个比较上限，就好比上面的例子2中，总共6个样本，若是K=1，即只参考距离最小的那个样本，这个样本为爱情片就预测成爱情片，若是K=3，就参考距离最低的三个值，发现100%都是爱情片，若是K=5，则发现爱情片占比60%，若是K=6，各占比50%，无法给结果了。因此K值不必定如例子1同样只为1，也可设成其余数用于给最终结果投票。

注：

若是K值取很小则容易受异常点影响，若是K值取很大则容易受样本k值数量（类别）波动。因此就有调参的过程了，选取一个合适的k值。

3. K-邻近算法的数据要求

      须要进行标准化，若不标准，数值大的特征将决定性的影响最终结果，标准化后，各个特征的权重比例均衡了。

4. K-邻近算法的优缺点

优势：简单，易于实现，无需估计参数，无需训练，结果固定，无迭代过程。

缺点：由于每次都要跟全部样本进行计算，计算量大，内存消耗大，且必须指定K值，K值选定不当则分类精度不能保证。

使用场景：小数据场景，由于缺点较多，大部分时候都不用。

5. 实例训练

# coding=utf-8
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import pandas as pd

def knncls():
    """
    K-邻近预测用户签到位置
    :return: None
    """
    # 读取数据 数据来源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data
    data = pd.read_csv("./train.csv")
    # print(data.head(10))
    # 处理数据
    # 一、缩小数据，查询数据筛选
    data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y > 7.5")
    # 二、处理时间
    time_value = pd.to_datetime(data["time"], unit="s")
    # print(time_value)
    # 构造特征
    time_value = pd.DatetimeIndex(time_value)
    data["day"] = time_value.day
    data["hour"] = time_value.hour
    data["weekday"] = time_value.weekday
    # 把时间戳特征删除
    data = data.drop(['time'], axis=1)
    # print(data)
    # 把签到数量少于n个目标位置删除
    place_count = data.groupby('place_id').count()
    # print(place_count)
    tf = place_count[place_count.row_id > 3].reset_index()
    # print(tf)
    data = data[data['place_id'].isin(tf.place_id)]
    data = data.drop(['row_id'], axis=1)
    # print(data)
    # 取出数据当中的特征值和目标值
    y = data['place_id']
    x = data.drop(['place_id'], axis=1)
    # 进行数据的分割训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
    # 特征工程（标准化）
    std = StandardScaler()
    # 对测试集和训练集的特征值标准化
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)
    # 进行算法流程
    knn = KNeighborsClassifier(n_neighbors=5)
    knn.fit(x_train, y_train)
    # 得出预测结果
    y_predict = knn.predict(x_test)
    print("预测的目标签到位置为：", y_predict)
    print("预测的准确率：", knn.score(x_test, y_test))


if __name__ == '__main__':
    knncls()

 

 

 以上内容仅供相互学习，是做者根据学习教程作的笔记。