特征选择的3钟方法

Posted 代码空间

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了特征选择的3钟方法相关的知识,希望对你有一定的参考价值。

当数据维数比较大时,就需要进行降维,特征选择是降维的一种主要方式,又包括3种方法:Filter、Wrapper和Enbedding。

1. Filter

过滤器方法,这种方法首先选定特征,再来进行学习。根据每一个属性的一些指标(如方差等),来确定这个属性的重要程度,然后对所有属性按照重要程度排序,从高到低的选择属性。选定了属性以后,再来进行训练。比如Fisher Score、Laplacian Score等。这种方法其实不大好,因为决定特征选择效果的不是单个的属性,而是属性的集合,比如属性A、B、C,单个来看效果不好,但是它们组合起来效果有可能不错。

2. Wrapper

包裹器方法,这种方法把选定的特征集用分类器进行训练,用训练效果(如准确率等)来作为特征集的评价。比如将启发式搜索、GA等。这种方法和分类器相结合,比较直观,和Filter相比也更加合理。缺点是计算开销较大。

3. Embedding

嵌入式方法,即把特征选择的过程作为学习过程的一部分,在学习的过程中进行特征选择,最典型的如决策树算法。

以上是关于特征选择的3钟方法的主要内容,如果未能解决你的问题,请参考以下文章

特征选择特征选择方法

《机学三》特征工程3 —— 特征选择:特征选择数据降维

机器学习--特征选择

携程一面凉经

特征选择与特征子集(二)

特征选择