深刻理解PCA与SVD的关系

先简单回顾下主成分析PCA(principle component analysis)与奇异值分解SVD(singular value decomposition)。

1、主成分析PCA

一、所解决问题

二、所依赖的原则

根据降维并减少信息损失的目标，能够得出如下两个原则

• 降维后的各个维度之间相互独立，即去除降维以前样本x中各个维度之间的相关性。
• 最大程度保持降维后的每一个维度数据的多样性，即最大化每一个维度内的方差

三、问题求解方法

式1就是协方差矩阵C的特征值分解，变换矩阵P便是矩阵C的前k个特征向量按行组成的矩阵。因此，PCA的求解步骤为：

1. 求X均值
2. 将X减去均值
3. 计算协方差矩阵C
4. 对协方差矩阵C特征值分解
5. 从大到小排列C的特征值
6. 取前k个特征值对应的特征向量按行组成矩阵即为变换矩阵P

这里的核心问题是协方差矩阵C的特征值分解。

2、奇异值分解SVD

一、所解决问题

二、问题求解方法

3、PCA与SVD的关系