[Scikit-learn] 2.5 Dimensionality reduction - Probabilistic PCA & Factor Analysis

2.5.4. Factor Analysis

---

 

PPCA的基本性质以及人肉推导：

以上假设z是标准正态分布的状况。如下是对z的分布的扩展，为general normal distribution。

 

From: http://cs.brown.edu/courses/cs195-5/spring2012/lectures/2012-04-24_factorEM.pdf 

 

PPCA能够选择input data，保持不变性；FA不能这么搞。

但它俩均可以选择latent variables。

 

From: https://www.cs.ubc.ca/~schmidtm/Courses/540-W16/L12.pdf

此处可见对x的分布的估计。

 

主成分分析和因子分析十大不一样

通常状况下主成分用于探索性分析，不多单独使用，用主成分来分析数据，能够让咱们对数据有一个大体的了解。

几个经常使用组合：

• 主成分分析+判别分析，适用于变量多而记录数很少的状况；
• 主成分分析+多元回归分析，主成分分析能够帮助判断是否存在共线性，并用于处理共线性问题；
• 主成分分析+聚类分析，不过这种组合因子分析能够更好的发挥优点。

因子分析：

• 首先，因子分析+多元回归分析，能够利用因子分析解决共线性问题；
• 其次，能够利用因子分析，寻找变量之间的潜在结构；
• 再次，因子分析+聚类分析，能够经过因子分析寻找聚类变量，从而简化聚类变量；
• 此外，因子分析还能够用于内在结构证明

 

Model selection with Probabilistic PCA and Factor Analysis (FA)

http://scikit-learn.org/stable/auto_examples/decomposition/plot_pca_vs_fa_model_selection.html