数据清洗主要是删除原始数据集中的无关数据、重复数据，过滤与挖掘主题无关的数据，处理缺失值和异常值。python
缺失值的处理办法函数
一、不处理spa
二、删除记录blog
三、数据插补class
a、插补均值、中位数、众数方法
b、使用固定值，用一个常量替换。如一个普通工人的工资缺失，能够按照当地的工资标准给值im
c、最近插补：利用与缺失样本最接近的样本的该属性值插补数据
d、回归插补：创建拟合模型预测缺失值异常
e、插值法img
插值法主要有两种：拉格朗日插值法和牛顿插值法
拉格朗日插值法就是将样本代入差值多项式，求解近似值。
牛顿插值法也是多项式的差值，可是采用的构造方法不一样f（x）=P（x）+R（x），前一项为逼近函数，后一项为偏差函数。咱们能够用python来实现拉格朗日插值法。
这种插值法，若是插第一个值，会发现获得的结果是负数，明显不符合实际状况，因此还须要修正的。
异常值的处理办法
一、删除含有异常值的记录
二、视为缺失值
三、平均值修正
四、不处理