数据降维、PCA——基于鸢尾花数据集

主成分分析PCA

主成分分析（Principal Component Analysis， PCA）

主成分：

能够把具备相关性的高纬度变量，合成为线性无关的低纬度变量，称为主成分。主成分可以尽量保留原始数据的信息。

• 方差（度量分散程度）
• 协方差（度量两变量间的线性相关性，0，线性无关）
• 特征向量：描述数据结构的非零向量。

原理：

矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序， 最大的特征值就是第一主成分，其次第二主成分，以此类推。

sklearn库，使用sklearn.decomposition.PCA加载PCA进行降维，主要参数：

• n_components:指定主成分个数，即降维后数据维度。
• svd_solver:特征值分解方法

import matplotlib.pyplot as plt

from sklearn.decomposition import PCA

from sklearn.datasets import load_iris

data = load_iris()

y = data.target

X = data.data

pca = PCA(n_components=2)

reduced_X = pca.fit_transform(X)

red_x, red_y = [], []

blue_x, blue_y = [], []

green_x, green_y = [], []

for i in range(len(reduced_X)):

    if y[i] == 0:

        red_x.append(reduced_X[i][0])

        red_y.append(reduced_X[i][1])

    elif y[i] == 1:

        blue_x.append(reduced_X[i][0])

        blue_y.append(reduced_X[i][1])

    else:

        green_x.append(reduced_X[i][0])

        green_y.append(reduced_X[i][1])

plt.scatter(red_x, red_y, c='r', marker='x')

plt.scatter(blue_x, blue_y, c='b', marker='D')

plt.scatter(green_x, green_y, c='g', marker='.')

plt.show()