机器学习算法总结

前言：

最近一段时间一直在忙秋招，在参加秋招的过程当中顺便总结了一下机器学习中经常使用的一些算法。

1.降维(SVD,PCA)

降维是机器学习中很重要的一种思想。在机器学习中会遇到一些高维的数据集，而在高维数据集的其情形下会出现数据样本稀疏，距离计算等困难，称之为“维度灾难”；另外就是高维特征中容易出现特征之间的线性相关，即意味着特征是冗余的。基于上述问题，降维的思想就出现了。

降维的方法有不少，并且分为线性降维和非线性降维。

线性降维包括：

• 奇异值分解(SVD)

  为何先介绍SVD算法，由于在后面的PCA算法的实现用到了SVD算法。SVD算法不光能够用于降维算法中的特征分解，还能够用于推荐系统，以及天然语言处理等领域。是不少机器学习算法的基石。

• 主成分分析(PCA)

  PCA算法能够说是最经常使用的算法，在数据压缩，消除冗余等领域有着普遍的使用。

非线性降维方法：

• 核PCA方法

  有时数据不是线性的，没法用线性降维得到好的结果，那么这里就引入了咱们的核PCA方法来处理这些问题。须要在求协方差矩阵时，将数据先映射到高维（根据低维不可分的数据在高维一定可分的原理），而后再对这高维的数据进行PCA降维处理，为了减小计算量，像支持向量机中那样用核函数来处理求内积的问题。这类方法就是核主成分分析方法（KPCA），KPCA因为要作核运算，所以计算量比PCA大不少