主成分分析（Principal Components Analysis）

主成分分析PCA(Principal Component Analysis),作用是:

1. 聚类 Clustering：把复杂的多维数据点,简化成少量数据点,易于分簇
2. 降维：降低高维数据,简化计算,达到数据降维,压缩,降噪的目的

PCA 的目的就是找到一个低维映射空间，使得数据映射后方差最大。

理论实现：

首先对样本空间为 $d$d 维全部的数据中心化，使得均值为 0，即将所有的样本与样本均值相减获得新的样本：

$\mathbf { x } _ { i } = \mathbf { x } _ { i } - \mu$xi​=xi​−μ

也就是说转换后：

$\frac { 1 } { N } \sum _ { i = 1 } ^ { N } \mathbf { x } _ { i } = 0_d$N1​i=1∑N​xi​=0d​

知识补充：

求向量 u 在向量 v 上的投影：

那么根据上图可以列出以下公式
$\begin{aligned} u ^ { \prime } & = \frac { d } { | v | } v \\ d & = | u | \cos \theta \\ \cos \theta & = \frac { u^T \cdot v } { | u | | v | } \end{aligned}$u′dcosθ​=∣v∣d​v=∣u∣cosθ=∣u∣∣v∣uT⋅v​​
所以可以解出向量 $u$u 在向量 $v$v 上的投影 $u^\prime$u′ 为：
$u^\prime = \frac { u ^ T \cdot v } { | v | ^ { 2 } } v$u′=∣v∣2uT⋅v​v
那么将向量 $v$v 所在直线视为一维空间，那么向量 $u$u 映射在该维度的表示为
$u^v = \frac { u ^ T \cdot v } { | v | } = \frac { v ^ T \cdot u } { | v | }$uv=∣v∣uT⋅v​=∣v∣vT⋅u​
也就是说映射后的长度（有方向）成为向量 $u$u 映射在该维度的表示。

那么现在求取映射后空间，先考虑映射到一维空间，也就是说向一个向量做投影，假如现在向向量 $u _ { 1 }$u1​ 做投影。

那么由于一开始的中心化操作，使得映射后均值仍然为零：

$\frac { 1 } { n } \sum _ { i = 1 } ^ { n } \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \mathbf x _ { i } = \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \sum _ { i = 1 } ^ { n } \frac { 1 } { n } \mathbf x _ { i } = 0$n1​i=1∑n​∣u1​∣u1T​​xi​=∣u1​∣u1T​​i=1∑n​n1​xi​=0

那么映射后的方差有：

$\frac { 1 } { n } \sum _ { i = 1 } ^ { n } \left( \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \mathbf x _ { i } - 0\right) ^ { 2 } = \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \mathbf x _ { i } \mathbf x _ { i } ^ { T } \frac { u _ { 1 } } { | u _ { 1 } | } = \frac { u _ { 1 } ^ { T } } { | u _ { 1 } | } \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \mathbf x _ { i } \mathbf x _ { i } ^ { T } \frac { u _ { 1 } } { | u _ { 1 } | } =\frac { u _ { 1 } ^ { T } } { | u _ { 1 } | }S \frac { u _ { 1 } } { | u _ { 1 } | }$n1​i=1∑n​(∣u1​∣u1T​​xi​−0)2=n1​i=1∑n​∣u1​∣u1T​​xi​xiT​∣u1​∣u1​​=∣u1​∣u1T​​n1​i=1∑n​xi​xiT​∣u1​∣u1​​=∣u1​∣u1T​​S∣u1​∣u1​​

其中 $S$S 为数据集的协方差矩阵：

$S = \frac { 1 } { n } \sum _ { i , j = 1 } ^ { n } \mathbf x _ { i } ^ { T } \cdot \mathbf x _ { j }$S=n1​i,j=1∑n​xiT​⋅xj​

现在想要映射在该一维空间后数据的方差最大，那么该优化问题为：

$\begin{aligned} \max _ { u _ { 1 } } \quad & u _ { 1 } ^ { T } \cdot S \cdot u _ { 1 } \\ \text { s.t.} \quad & \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } = 1 \end{aligned}$u1​max​ s.t.​u1T​⋅S⋅u1​∥u1​∥22​=1​

其中为了方便，将映射向量的长度定为一作为约束条件。为了去掉这一约束条件，使用拉格朗日乘数法转换该最优化问题：

$\max _ { u _ { 1 } } \left\{ u _ { 1 } ^ { T } \cdot S \cdot u _ { 1 } + \lambda \left( 1 - \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } \right) \right\}$u1​max​{u1T​⋅S⋅u1​+λ(1−∥u1​∥22​)}

对于凸优化问题，在最优点出导数为零，所以最优解的必要条件为：

$2 u _ { 1 } \cdot S + \lambda \left( - 2 u _ { 1 } \right) = 0$2u1​⋅S+λ(−2u1​)=0

也就是说：

$S u _ { 1 } = \lambda u _ { 1 }$Su1​=λu1​

可以看出 $u _ { 1 }$u1​ 是协方差矩阵 $S$S 的一个特征向量，那么现在代入到原最优化问题：

$\begin{aligned} \max _ { u _ { 1 } } \quad & u _ { 1 } ^ { T } \cdot \lambda \cdot u _ { 1 } \\ \text { s.t.} \quad & \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } = 1 \end{aligned}$u1​max​ s.t.​u1T​⋅λ⋅u1​∥u1​∥22​=1​

可以进一步转换为：

$\begin{aligned} \max _ { u _ { 1 } } \quad & \lambda \\ \text { s.t.} \quad & \left\| u _ { 1 } \right\| _ { 2 } ^ { 2 } = 1 \end{aligned}$u1​max​ s.t.​λ∥u1​∥22​=1​

也就是说在约束条件下希望该特征值最大。那么推广到多维空间映射，仍然适用。那么最佳的多维空间则由 Top $d^{\prime}$d′ 特征值（最大的 $d^{\prime}$d′ 个特征值）所对应的特征向量构成。

那么PCA的具体实现流程 ：

$\begin{aligned} & \text { 1. let }\overline { \mathbf { x } } = \frac { 1 } { N } \sum _ { n = 1 } ^ { N } \mathbf { x } _ { n } , \text { and let } \mathbf { x } _ { n } \leftarrow \mathbf { x } _ { n } - \overline { \mathbf { x } } , X^T = [\mathbf x_1,\cdots,\mathbf x_N] \\ & \text { 2. calculate } \tilde { d } \text { top eigenvectors } \mathbf { w } _ { 1 } , \mathbf { w } _ { 2 } , \ldots , \mathbf { w } _ { \tilde { d } } \text { of } \mathbf { X } ^ { T } \mathbf { X } \\ & \text { 3. return feature transform } \mathbf { \Phi } ( \mathbf { x } ) = \mathbf { W } ( \mathbf { x } - \overline { \mathbf { x } } ) \end{aligned}$​ 1. let x=N1​n=1∑N​xn​, and let xn​←xn​−x,XT=[x1​,⋯,xN​] 2. calculate d~ top eigenvectors w1​,w2​,…,wd~​ of XTX 3. return feature transform Φ(x)=W(x−x)​