机器学习入坑指南（二）：数据预处理

机器学习初步：数据预处理

机器学习离不开大量的数据。在对这些数据进行分析前，咱们先学习一下在 Python 中如何导入数据并对它进行预处理。

1 导入须要的库

利用 Python 进行数据分析所必须的库有两个。

NumPy 包含了各类数学计算函数。

Pandas 用于导入和管理数据集。

一般咱们使用如下形式导入这两个库：

import numpy as np
import pandas as pd

2 导入数据集

数据集一般是 .csv 格式。CSV 以纯文本形式保存表格数据，文件的每一行是一条数据记录。咱们使用 Pandas 的 read_csv 方法读取本地 .csv 文件做为一个数据帧（dataframe），而后从数据帧中制做自变量和因变量的矩阵和向量。

示例数据地址：GitHub - Avik-Jain/100-Days-Of-ML-Code/datasets

可将数据下载到本地，放在 Jupyter Notebook 工做目录下，或经过 upload 导入。

dataset = pd.read_csv(Data.csv)
# X 获取全部行从第0列到倒数第1列的数据（从0起算）
X = dataset.iloc[ : ,:-1].values
# Y 获取全部行第3列的数据
Y = dataset.iloc[ : , 3].values

iloc 的做用是经过行列号来获取数据，而 loc 则是经过标签索引数据。

导入后，dataset 的数据以下

3 处理丢失数据

咱们获得的数据可能因为各类缘由存在缺失。为了避免下降机器学习模型的性能，咱们能够经过一些方法处理这些数据，好比使用整列数据的平均值或中位数来替换丢失的数据。

可使用 sklearn.preprocessing 库中的 Imputer 类来完成这项任务。

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
# 训练模型，拟合出做为替换值的均值
imputer = imputer.fit(X[ : , 1:3])
# 处理须要补全的数据
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

Imputer 参数解释：

missing_values：缺失值，能够为整数或 NaN ，默认为 NaN

strategy：替换策略，默认用均值 'mean' 替换，还能够选择中位数 'median' 或众数 'most_frequent'

axis：指定轴数，默认 axis = 0 表明列，axis = 1 表明行

4 解析分类数据

分类数据是具备标签值而不是数值的变量，取值范围一般固定（相似枚举值），不能用于模型的数学计算，须要解析成数字。为实现这个功能，咱们从 sklearn.preprocessing 库中导入 LabelEnconder 类。

通过编码以后的变量称为虚拟变量或哑变量（Dummy Variable）

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
# 对 X 中的标签数据编码
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])
# 使用 onehotencoder 对通过标签编码的第0行数据进行独热编码
onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
# 对 Y 中的标签数据编码
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

关于独热编码，参考博客园 - OneHotEncoder独热编码和 LabelEncoder标签编码

5 分割数据集

咱们须要把数据集拆分红用来训练模型的训练集和用来验证模型的测试集。二者的比例通常是 80：20。这里须要导入 sklearn.crossvalidation 库中的 train_test_split()方法。

from sklearn.cross_validation import train_test_split
# 分割数据集
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

6 特征缩放

许多机器学习算法在计算中使用数据点之间的欧氏距离，数据的某一特征值的量级在很大程度上决定了距离的大小。(特征缩放做用的体现参见 lwbeyond 的文章—— K-近邻算法 )

所以，应该把每一个特征的取值限定在某一范围内，称为特征缩放。经常使用的方法有调节比例、标准化等。这里咱们导入 sklearn.preprocessing 库的 StandardScalar 类。

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

欢迎关注 Evan 的博客