机器学习之特征选择和降维的理解

在机器学习中，特征选择和降维感受好像差很少，维度都下降了，今天和其余同窗交流学习才知道其实否则，区别很大。

 

通常状况下，咱们不会使用原始数据直接去进行训练，由于原始数据的特征明显，信息丰富，咱们训练后的效果对于训练集很是好，而对于测试集来讲就不好了。这就是过拟合问题。

当咱们进行特征提取后，维度依然不减，为了解决过拟合问题，就使用降维（经常使用PCA）或特征选择。

对于特征选择，就是从众多个特征中选择部分特征做为训练集的特征，抛弃剩余部分的特征，这样维度就减小了，可是选中的这部分特征就是原始数据中的特征值。

对于降维，降维与特征选择相比最主要的区别就是降维会发生特征数据值的变化，它是一个高维到低维的映射。

特征选择和降维都是为了解决过拟合问题。