当数据维数比较大时，就需要进行降维，特征选择是降维的一种主要方式，又包括3种方法：Filter、Wrapper和Enbedding。
1. Filter
过滤器方法，这种方法首先选定特征，再来进行学习。根据每一个属性的一些指标（如方差等），来确定这个属性的重要程度，然后对所有属性按照重要程度排序，从高到低的选择属性。选定了属性以后，再来进行训练。比如Fisher Score、Laplacian Score等。这种方法其实不大好，因为决定特征选择效果的不是单个的属性，而是属性的集合，比如属性A、B、C，单个来看效果不好，但是它们组合起来效果有可能不错。
2. Wrapper
包裹器方法，这种方法把选定的特征集用分类器进行训练，用训练效果（如准确率等）来作为特征集的评价。比如将启发式搜索、GA等。这种方法和分类器相结合，比较直观，和Filter相比也更加合理。缺点是计算开销较大。
3. Embedding
嵌入式方法，即把特征选择的过程作为学习过程的一部分，在学习的过程中进行特征选择，最典型的如决策树算法。