机器学习降维方法总结

降维在机器学习里面再正常不过了，这里总结了降维的一些方法，主要参考了陈利人老师的“数据分析领域中最为人称道的七种降维方法”（在微信公众号看到的，没法提供连接，有兴趣的能够搜索看原文）。不过这篇文章除了PCA，其余的降维方法多多少少有点特征工程的意思了。

缺失值比率 (Missing Values Ratio)

该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。所以，能够将数据列缺失值大于某个阈值的列去掉。阈值越高，降维方法更为积极，即降维越少。

低方差滤波

与上个方法类似，该方法假设数据列变化很是小的列包含的信息量少。所以，全部的数据列方差小的列被移除。须要注意的一点是：方差与数据范围相关的，所以在采用该方法前须要对数据作归一化处理。

高相关滤波

高相关滤波认为当两列数据变化趋势类似时，它们包含的信息也显示。这样，使用类似列中的一列就能够知足机器学习模型。对于数值列之间的类似性经过计算相关系数来表示，对于名词类列的相关系数能够经过计算皮尔逊卡方值来表示。相关系数大于某个阈值的两列只保留一列。一样要注意的是：相关系数对范围敏感，因此在计算以前也须要对数据进行归一化处理。

随机森林/组合树

组合决策树一般又被成为随机森林，它在进行特征选择与构建有效的分类器时很是有用。一种经常使用的降维方法是对目标属性产生许多巨大的树，而后根据对每一个属性的统计结果找到信息量最大的特征子集。例如，咱们可以对一个很是巨大的数据集生成很是层次很是浅的树，每颗树只训练一小部分属性。若是一个属性常常成为最佳分裂属性，那么它颇有多是须要保留的信息特征。对随机森林数据属性的统计评分会向咱们揭示与其它属性相比，哪一个属性才是预测能力最好的属性。

主成分分析 (PCA)

主成分分析是一个统计过程，该过程经过正交变换将原始的 n 维数据集变换到一个新的被称作主成分的数据集中。变换后的结果中，第一个主成分具备最大的方差值，每一个后续的成分在与前述主成分正交条件限制下与具备最大方差。降维时仅保存前 m(m < n) 个主成分便可保持最大的数据信息量。须要注意的是主成分变换对正交向量的尺度敏感。数据在变换前须要进行归一化处理。一样也须要注意的是，新的主成分并非由实际系统产生的，所以在进行 PCA 变换后会丧失数据的解释性。若是说，数据的解释能力对你的分析来讲很重要，那么 PCA 对你来讲可能就不适用了。

反向特征消除

在该方法中，全部分类算法先用 n 个特征进行训练。每次降维操做，采用 n-1 个特征对分类器训练 n 次，获得新的 n 个分类器。将新分类器中错分率变化最小的分类器所用的 n-1 维特征做为降维后的特征集。不断的对该过程进行迭代，便可获得降维后的结果。第k 次迭代过程当中获得的是 n-k 维特征分类器。经过选择最大的错误容忍率，咱们能够获得在选择分类器上达到指定分类性能最小须要多少个特征。

前向特征构造

前向特征构建是反向特征消除的反过程。在前向特征过程当中，咱们从 1 个特征开始，每次训练添加一个让分类器性能提高最大的特征。前向特征构造和反向特征消除都十分耗时。它们一般用于输入维数已经相对较低的数据集。

除了本博客中提到的其中，还包括：随机投影(Random Projections)、非负矩阵分解(N0n-negative Matrix Factorization),自动编码(Auto-encoders),卡方检测与信息增益(Chi-square and information gain)， 多维标定(Multidimensional Scaling), 相关性分析(Coorespondence Analysis), 因子分析(Factor Analysis)、聚类(Clustering)以及贝叶斯模型(Bayesian Models)。