PCA主成分分析算法原理简单说明

本文主要参考周志华老师的西瓜书，对PCA算法的原理作简单总结。

1. 基本原理

通常来讲，但愿得到低维子空间，最简单的是对原始高维空间进行线性变换。给定d维空间中的样本X=(x₁,x₂,...,x_m)∈R^d*m，变换以后获得d'≤d维空间中的样本

Z = W^TX

其中W∈R^d*d'是变换矩阵，Z∈R^d'*m是样本在新空间中的表示。

基于线性变换进行降维的方法称为线性降维方法，都符合上式的基本形式。

所以，要求得新坐标须要先求得W。

 

2. 优化目标及求解思路

优化目标为W使得样本在新坐标系中的投影尽可能可以分开(方差和最大)。

投影后的样本点方差为∑_iW^Tx_ix_i^TW，则优化目标可写为

max tr(W^TXX^TW)

s.t. W^TW=I

使用拉格朗日乘子法可得

XX^TW = λW

为求得W，转化为求协方差矩阵XX^T的特征向量(λ为特征值)。对协方差矩阵XX^T进行特征值分解，将求得的特征值(表明方差大小)排序，取前d’个特征值对应的特征向量构成W=(w₁,w₂,...,w_d')，即为主成分分析的解。

 

3. 算法描述

输入：样本集D={(x₁,x₂,...,x_m}；低维空间维数d‘。

1. 对全部样本进行中心化：x_i←x_i−1/m*∑xi

2. 计算样本的协方差矩阵XX^T

3. 对协方差矩阵作特征值分解

4. 取最大的d'个特征值对应的特征向量w₁,w₂,...,w_d' 

输出：投影矩阵W=(w₁,w₂,...,w_d')。