机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE）

###机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE）

如下资料并不是本人原创，由于以为石头写的好，因此才转发备忘

(主成分分析（PCA）原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA] 来源： 石头 机器学习算法那些事 3月1日 主成分分析（Principal components analysis，如下简称PCA）是最经常使用的降维方法之一，在数据压缩和消除冗余方面具备普遍的应用，本文由浅入深的对其降维原理进行了详细总结。

目录

1.向量投影和矩阵投影的含义 2. 向量降维和矩阵降维的含义 3. 基向量选择算法 4. 基向量个数的肯定 5. 中心化的做用 6. PCA算法流程 7. PCA算法总结

(线性判别分析（LDA）原理总结)[https://mp.weixin.qq.com/s/7H5-piL6ywHXgoxTXvJnNA] 来源： 石头 机器学习算法那些事 3月1日 前言

线性判别分析（Linear Discriminant Analysis，如下简称LDA）是有监督的降维方法，在模式识别和机器学习领域中经常使用来降维。PCA是基于最大投影方差或最小投影距离的降维方法，LDA是基于最佳分类方案的降维方法，本文对其原理进行了详细总结。

目录

1. PCA与LDA降维原理对比
2. 二类LDA算法推导
3. 多类LDA算法推导
4. LDA算法流程
5. 正态性假设
6. LDA分类算法
7. LDA小结 (奇异值分解（SVD）原理总结)[https://mp.weixin.qq.com/s/ESl7TxxfuYzjscyfJWLisw] 来源： 石头 机器学习算法那些事 3月1日 前言

奇异值分解（SVD）在降维，数据压缩，推荐系统等有普遍的应用，任何矩阵均可以进行奇异值分解，本文经过正交变换不改变基向量间的夹角按部就班的推导SVD算法，以及用协方差含义去理解行降维和列降维，最后介绍了SVD的数据压缩原理 。

目录

1. 正交变换
2. 特征值分解含义
3. 奇异值分解
4. 奇异值分解例子
5. 行降维和列降维
6. 数据压缩
7. SVD总结

局部线性嵌入（LLE）原理总结 来源： 石头 机器学习算法那些事 3月1日 相关文章推荐： 主成分分析（PCA）原理总结 奇异值分解（SVD）原理总结 scikit-learn中PCA的使用方法 LLE参考资料下载： 连接:  https://pan.baidu.com/s/1Ht01oCGpUjL7rCX5bAhnYg 提取码: 62wq  LLE是一种非监督式的降维方法，与PCA降维方法相比，LLE降维后保持了初始样本间的局部关系。PCA是基于投影的最大方差的线性投影，在介绍LLE原理以前，咱们首先用几张图看看PCA的降维效果： 目录

1. LLE算法原理
2. LLE算法推导
3. LLE算法流程 4. K近邻空间大于输入数据的维数D的状况分析
4. 小结

####视频资料

(白板推导系列，数学原理了然于胸)[https://www.bilibili.com/video/av32709936/?p=3&t=291] (资料推荐系列)[https://www.bilibili.com/video/av31971102]