Python数据预处理：完全理解标准化和归一化

## 数据预处理
数据中不一样特征的量纲可能不一致，数值间的差异可能很大，不进行处理可能会影响到数据分析的结果，所以，须要对数据按照必定比例进行缩放，使之落在一个特定的区域，便于进行综合分析。

## 经常使用的方法有两种：

最大 - 最小规范化：对原始数据进行线性变换，将数据映射到[0,1]区间

Z-Score标准化：将原始数据映射到均值为0、标准差为1的分布上


## 为何要标准化/归一化？
提高模型精度：标准化/归一化后，不一样维度之间的特征在数值上有必定比较性，能够大大提升分类器的准确性。

加速模型收敛：标准化/归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。

以下图所示：


## 哪些机器学习算法须要标准化和归一化
1）须要使用梯度降低和计算距离的模型要作归一化，由于不作归一化会使收敛的路径程z字型降低，致使收敛路径太慢，并且不容易找到最优解，归一化以后加快了梯度降低求最优解的速度，并有可能提升精度。好比说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。须要计算距离的模型须要作归一化，好比说KNN、KMeans等。

2）几率模型、树形结构模型不须要归一化，由于它们不关心变量的值，而是关心变量的分布和变量之间的条件几率，如决策树、随机森林。


## 完全理解标准化和归一化


示例数据集包含一个自变量（已购买）和三个因变量（国家，年龄和薪水），能够看出用薪水范围比年龄宽的多，若是直接将数据用于机器学习模型（好比KNN、KMeans），模型将彻底有薪水主导。
```
#导入数据
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
df = pd.read_csv('Data.csv')
```
缺失值均值填充,处理字符型变量
```
df['Salary'].fillna((df['Salary'].mean()), inplace= True)
df['Age'].fillna((df['Age'].mean()), inplace= True)
df['Purchased'] = df['Purchased'].apply(lambda x: 0 if x=='No' else 1)
df=pd.get_dummies(data=df, columns=['Country'])
```


最大 - 最小规范化
```
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
scaler.fit(df)
scaled_features = scaler.transform(df)
df_MinMax = pd.DataFrame(data=scaled_features, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])
```


Z-Score标准化

```
from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
sc_X = sc_X.fit_transform(df)
sc_X = pd.DataFrame(data=sc_X, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])
```

```
import seaborn as sns
import matplotlib.pyplot as plt
import statistics
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
fig,axes=plt.subplots(2,3,figsize=(18,12)) 
sns.distplot(df['Age'], ax=axes[0, 0])
sns.distplot(df_MinMax['Age'], ax=axes[0, 1])
axes[0, 1].set_title('归一化方差：% s '% (statistics.stdev(df_MinMax['Age'])))
sns.distplot(sc_X['Age'], ax=axes[0, 2])
axes[0, 2].set_title('标准化方差：% s '% (statistics.stdev(sc_X['Age'])))
sns.distplot(df['Salary'], ax=axes[1, 0])
sns.distplot(df_MinMax['Salary'], ax=axes[1, 1])
axes[1, 1].set_title('MinMax：Salary')
axes[1, 1].set_title('归一化方差：% s '% (statistics.stdev(df_MinMax['Salary'])))
sns.distplot(sc_X['Salary'], ax=axes[1, 2])
axes[1, 2].set_title('StandardScaler:Salary')
axes[1, 2].set_title('标准化方差：% s '% (statistics.stdev(sc_X['Salary'])))
```
能够看出归一化比标准化方法产生的标准差小，使用归一化来缩放数据，则数据将更集中在均值附近。这是因为归一化的缩放是“拍扁”统一到区间（仅由极值决定），而标准化的缩放是更加“弹性”和“动态”的，和总体样本的分布有很大的关系。因此归一化不能很好地处理离群值，而标准化对异常值的鲁棒性强，在许多状况下，它优于归一化。

参考：https://towardsdatascience.com/data-transformation-standardisation-vs-normalisation-a47b2f38cec2