特征选择的3种方法

当数据维数比较大时，就须要进行降维，特征选择是降维的一种主要方式，又包括3种方法：Filter、Wrapper和Enbedding。

1. Filter

过滤器方法，这种方法首先选定特征，再来进行学习。根据每个属性的一些指标（如方差等），来肯定这个属性的重要程度，而后对全部属性按照重要程度排序，从高到低的选择属性。选定了属性之后，再来进行训练。好比Fisher Score、Laplacian Score等。这种方法其实不大好，由于决定特征选择效果的不是单个的属性，而是属性的集合，好比属性A、B、C，单个来看效果很差，可是它们组合起来效果有可能不错。

2. Wrapper

包裹器方法，这种方法把选定的特征集用分类器进行训练，用训练效果（如准确率等）来做为特征集的评价。好比将启发式搜索、GA等。这种方法和分类器相结合，比较直观，和Filter相比也更加合理。缺点是计算开销较大。

3. Embedding

嵌入式方法，即把特征选择的过程做为学习过程的一部分，在学习的过程当中进行特征选择，最典型的如决策树算法。