机器学习算法之降维

　　在机器学习的过程当中，咱们常常会碰见过拟合的问题。而输入数据或features的维度太高就是致使过拟合的问题之一。。维度越高，你的数据在每一个特征维度上的分布就越稀疏，这对机器学习算法基本都是灾难性的。全部出现了不少降维的方法。今天咱们要讨论的就是LDA降维。

LDA降维的思路是：若是两类数据线性可分，即：存在一个超平面，将两类数据分开。则：存在模旋转向量，将两类数据投影到一维上，而且依然是线性可分的。

提出问题

假设未定一组N个带标记的数据（X_i，C_i），其中，标记C分两类，即：C_i =0 或C_i=1，设计分类器，将数据分开。若是x的维度很高，甚至比N还多，这时候就须要降维了。

解题过程

一、根据线性变换，将X降成一维的

假定旋转向量为W，将数据X投影到一维y，获得 y =W^TX ，其中输入数据X，旋转向量W。

如此就将原来我x维的向量转换为一维，利用分类算法将数据分类为C。从而，能够找到阈值W_0，若是y>W₀为一类，y<W₀为一类。

 二、计算每一个分类的类内均值和方差

令C1类有N1个元素，C2有N2个元素，计算投影前的类内均值和投影后的类内均值和松散度（方差）：

 

三、寻找Fisher判别准则

四、对目标函数进行优化

也就是对目标函数求导后取极值。

倒数为：

 

 推导获得， 三者同方向。

 

主题模型------主成分分析PCA

PCA和LDA的区别

LDA：分类性能最好的方向

PCA：样本点投影具备最大方差的方向

实际问题每每须要研究多个特征，而这些特征就有必定的相关性。

将多个特征综合为少数几个表明性特征。组合后的特征既可以表明原始特征的绝大部分信息，又互不相关，下降相关性。这种提取原始特征的主成分的方法就叫主成分分析。

问题的提出：

对于包含n个特征的m个样本的数据，将每一个样本标记成行向量，获得了矩阵A：

解题的思路：

寻找样本的主方向U：将m个样本的值投影到某直线L上，获得m个位于直线L上的点，计算m个投影点的方差。认为方差最大的直线方向为主方向。   

 假设样本去均值了

求方差，PCA的核心推导过程

取投影的直线L的延伸方向u，计算AXu的值

求向量A X u的方差

目标函数：J（u）= u^TA^TAu

目标函数求驻点：

 

因为u数乘获得的方向和u相同，所以，增长u是单位向量的约束，即：||u||₂=1 = u^Tu

 创建Lagrange的方程：

L（u）=  u^TA^TAu -λ （u^Tu-1）

求导：

分析A^TAu = λu

若A中的样本都是去均值化的，则A^TA与A的协方差矩阵仅仅相差系数n-1

u是A^TA的特征向量，λ的值的大小为原始观测数据的特征向量在向量u的方向上投影值的方差

 

 

PCA的重要应用

去噪、降维 、模式识别、分析数据胡相关性以及多源融合等