缺失数据处理-插值法

1. 前言

在数据挖掘中，原始数据中存在着大量不完整、偏离的数据。这些问题数据轻则影响数据挖掘执行效率，重则影响执行结果。所以数据预处理工做必不可少，而其中常见工做的就是数据集的缺失值处理。

数据缺失值处理可分两类。一类是删除缺失数据，一类是进行数据插补。前者比较简单粗暴，可是这种方法最大的局限就是它是以减小历史数据来换取数据的完备，会形成资源的大量浪费，尤为在数据集自己就少的状况下，删除记录可能会直接影响分析结果的客观性和准确性

本文介绍数据经常使用的插补方法。对拉格朗日插值法和滑动平均窗口法进行重点介绍和实现。

2. 介绍

2.1 经常使用的插值方法以下：

这里只对插值法和窗口滑动平均进行介绍。

2.2 滑动平均窗口法

一个列表a 中的第 i 个位置数据为缺失数据，则取先后 window 个数据的平均值，做为插补数据。例如：

a = [3,4,5,6,None,4,5,2,5] 、 window = 3
则 None位置的数据为：(4+5+6+4+5+2)/6 = 2.67

2.3 拉格朗日插值法

根据数学概念可知，对于平面上已知的n个点（无两点在一条直线上）能够找到一个n-1次的多项式，使此多项式经过这n个点。

所以咱们需先求得多项式函数L(x)，而后将缺失值对应的点x带入插值多项式获得缺失值的近似值L(x)。多项式函数L(x)的求法以下：

3. 实现

3.1 代码

# coding:utf-8
# 拉格朗日插值代码
import pandas as pd  # 导入数据分析库Pandas
from scipy.interpolate import lagrange  # 导入拉格朗日插值函数

# 构建原始数据
data = pd.DataFrame([
    ["2015/3/1", 59],
    ["2015/2/28", 2618.2],
    ["2015/2/27", 2608.4],
    ["2015/2/26", 2651.9],
    ["2015/2/25", 3442.1],
    ["2015/2/24", 3393.1],
    ["2015/2/23", 3136.6],
    ["2015/2/22", 3744.1],
    ["2015/2/21", ],
    ["2015/2/20", 4060.3],
    ["2015/2/19", 3614.7],
    ["2015/2/18", 3295.5],
    ["2015/2/16", 2332.1],
    ["2015/2/15", 2699.3],
    ["2015/2/14", ],
    ["2015/2/13", 3036.8],
    ["2015/2/12", 1865],
    ["2015/2/11", 3014.3],
    ["2015/2/10", 2742.8],
    ["2015/2/9", 2173.5],
    ["2015/2/8", 3161.8],
    ["2015/2/7", 3023.8],
    ["2015/2/6", 2998.1],
], columns=[u'日期', u'销量'])

# 设置异常值,把销量大于5000和销量小于400的异常值替换为None
data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None

# 把要处理的数据取出来,pandas中dataframe格式单独取出一列就是series数据格式
tmp_data_1 = data[u'销量'].copy()
tmp_data_2 = data[u'销量'].copy()


def ployinterp_column(series, pos, window=5):
    """
    :param series: 列向量
    :param pos: 被插值的位置
    :param window: 为取先后的数据个数
    :return:
    """
    y = series[list(range(pos - window, pos)) + list(range(pos + 1, pos + 1 + window))]  # 取数
    y = y[y.notnull()]  # 剔除空值
    return lagrange(y.index, list(y))(pos)  # 插值并返回插值结果


def sma_mothod(series, pos, window=5):
    """
    :param series: 列向量
    :param pos: 被插值的位置
    :param window: 为取先后的数据个数
    :return:
    """
    y = series[list(range(pos - window, pos)) + list(range(pos + 1, pos + 1 + window))]  # 取数
    y = y[y.notnull()]
    return reduce(lambda a, b: a + b, y) / len(y)

for j in range(len(tmp_data_1)):
    if (tmp_data_1.isnull())[j]:  # 若是为空即插值。
        tmp_data_1[j] = ployinterp_column(tmp_data_1, j)
        print j, data.loc[j, u'日期'], tmp_data_1[j]

print 

for j in range(len(tmp_data_2)):
    if (tmp_data_2.isnull())[j]:  # 若是为空即插值。
        tmp_data_2[j] = sma_mothod(tmp_data_2, j)
        print j, data.loc[j, u'日期'], tmp_data_2[j]

3.2 输出

0 2015/3/1 -291.4
8 2015/2/21 4275.25476248
14 2015/2/14 3680.66999227

0 2015/3/1 2942.74
8 2015/2/21 3236.97
14 2015/2/14 2883.43

3.3 分析

对比之下，滑动窗口方法的输出都还比较合理。但显而易见的是拉格朗日插值对0位置的数据处理的很很差，插值为 -291.4。拟合点的数据格式为(x,y)，具体数据：(1, 2618.2), (2, 2608.4),(3, 2651.9),(4, 3442.1), (5, 3393.1)。咱们把拉格朗日多项式打印出来：

  L(x) = -94.97 x^4 + 1065 x^3 - 3991 x^2 + 5930 x^1 - 291.4

把 x= 0 带入获得 L(x)，就获得了 -291.4。这里x=0就是L(x)的截距。直观感受就不太合理，猜想就是拉格朗日插值法对边缘数据敏感（即插值须要左右两边数据提供信息，在缺失左边数据信息状况下，获得的结果就不太合理），往后求证！

4. 参考：

《python数据分析与挖掘实战》