运用sklearn进行主成分分析(PCA)代码实现

def plot_decision_regions(x, y, classifier, resolution=0.02): markers = ['s', 'x', 'o', '^', 'v'] colors = ['r', 'g', 'b', 'gray', 'cyan'] cmap = ListedColormap(colors[:len(np.unique(y))]) x1_min, x1_max = x[:, 0].min() - 1, x[:, 0].max() + 1 x2_min, x2_max = x[:, 1].min() - 1, x[:, 1].max() + 1 xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution)) z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T) z = z.reshape(xx1.shape) plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap) for idx, cc in enumerate(np.unique(y)): plt.scatter(x=x[y == cc, 0], y=x[y == cc, 1], alpha=0.6, c=cmap(idx), edgecolor='black', marker=markers[idx], label=cc)

4、10行代码完成葡萄酒数据集分类

10行感受是否很简单，确实关键步骤调用PCA类和plt画图总共10行。

代码以下：

pca = PCA(n_components=2) # 前两个主成分
lr = LogisticRegression() # 逻辑回归来拟合模型
x_train_pca = pca.fit_transform(x_train_std) x_test_pca = pca.fit_transform(x_test_std) lr.fit(x_train_pca, y_train) plot_decision_regions(x_train_pca, y_train, classifier=lr) plt.xlabel('PC1') plt.ylabel('PC2') plt.legend(loc='lower left') plt.show()

这里看出使用到的主成分也是前两个，使用逻辑回归对训练数据进行拟合，创建模型。

来看看结果就是这样。训练集上的分类效果仍是很不错，跟上次本身实现的PCA几乎同样，此次加上了区域的边界划分，更加直观！

测试集上呢?竟然是这样！

观察一下，发现好像也不是分类错误，而是发生镜像反转了。形成这种差别的缘由是，在测试集上的特征向量正负方向问题，因此须要将测试数据乘以-1反转镜像，从而获得正确的图像。

上面测试数据的pca直接乘以-1，修改成：

x_test_pca = pca.fit_transform(x_test_std) * -1  # 预测时候特征向量正负问题，乘-1反转镜像

这时候镜像反转就对了：看效果在测试集上的分类也不错。

固然，数据加载以及标准化处理仍是原来的方法。

# load data
df_wine = pd.read_csv('D:\\PyCharm_Project\\maching_learning\\wine_data\\wine.data', header=None)  # 本地加载
 
# split the data，train：test=7:3
x, y = df_wine.iloc[:, 1:].values, df_wine.iloc[:, 0].values x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, stratify=y, random_state=0) # standardize the feature 标准化单位方差
sc = StandardScaler() x_train_std = sc.fit_transform(x_train) x_test_std = sc.fit_transform(x_test)

5、完整代码

这里完整给出代码，并实现训练效果和测效果子图的对比。

from sklearn.linear_model import LogisticRegression from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from matplotlib.colors import ListedColormap import matplotlib.pyplot as plt import pandas as pd import numpy as np def plot_decision_regions(x, y, classifier, resolution=0.02): markers = ['s', 'x', 'o', '^', 'v'] colors = ['r', 'g', 'b', 'gray', 'cyan'] cmap = ListedColormap(colors[:len(np.unique(y))]) x1_min, x1_max = x[:, 0].min() - 1, x[:, 0].max() + 1 x2_min, x2_max = x[:, 1].min() - 1, x[:, 1].max() + 1 xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution)) z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T) z = z.reshape(xx1.shape) plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap) for idx, cc in enumerate(np.unique(y)): plt.scatter(x=x[y == cc, 0], y=x[y == cc, 1], alpha=0.6, c=cmap(idx), edgecolor='black', marker=markers[idx], label=cc) def main(): # load data
    # df_wine = pd.read_csv('D:\\PyCharm_Project\\maching_learning\\wine_data\\wine.data', header=None) # 本地加载
    df_wine = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data', header=None)  # 服务器加载
 
    # split the data，train：test=7:3
    x, y = df_wine.iloc[:, 1:].values, df_wine.iloc[:, 0].values x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, stratify=y, random_state=0) # standardize the feature 标准化单位方差
    sc = StandardScaler() x_train_std = sc.fit_transform(x_train) x_test_std = sc.fit_transform(x_test) pca = PCA(n_components=2) lr = LogisticRegression() x_train_pca = pca.fit_transform(x_train_std) x_test_pca = pca.fit_transform(x_test_std) * -1  # 预测时候特征向量正负问题，乘-1反转镜像
 lr.fit(x_train_pca, y_train) plt.figure(figsize=(6, 7), dpi=100)  # 画图高宽，像素
    plt.subplot(2, 1, 1) plot_decision_regions(x_train_pca, y_train, classifier=lr) plt.title('Training Result') plt.xlabel('PC1') plt.ylabel('PC2') plt.legend(loc='lower left') plt.subplot(2, 1, 2) plot_decision_regions(x_test_pca, y_test, classifier=lr) plt.title('Testing Result') plt.xlabel('PC1') plt.ylabel('PC2') plt.legend(loc='lower left') plt.tight_layout() # 子图间距
 plt.show() if __name__ == '__main__': main()

6、总结

此次学到了基于sklearn的主成分分析代码实现，使用PCA类进行无监督数据降维，明显感觉到编码效率提升许多，并且会感受十分简单，前提须要学习理解PCA实现原理及步骤，接下来准备学习第二种降维技术LDA，大伙来一块儿学习，分享学习成果！

个人博客园：http://www.javashuo.com/article/p-pwnjctfl-ng.html

个人CSDN：基于sklearn的主成分分析(PCA)代码实现

本文连接：https://blog.csdn.net/Charzous/article/details/107958972