随机森林如何评估特征重要性

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了随机森林如何评估特征重要性相关的知识,希望对你有一定的参考价值。

参考技术A

集成学习模型的一大特点是可以输出特征重要性,特征重要性能够在一定程度上辅助我们对特征进行筛选,从而使得模型的鲁棒性更好。

随机森林中进行特征重要性的评估思想为:
判断每个特征在随机森林中的每颗树上做了多大的贡献,然后取个平均值,最后比一比特征之间的贡献大小。其中关于贡献的计算方式可以是基尼指数或袋外数据错误率。

基尼指数计算方法:k 代表 k 个类别, 代表类别 k的样本权重。

对于一棵树 ,用OOB样本可以得到误差 e1,然后随机改变OOB中的第 j 列,保持其他列不变,对第 j 列进行随机的上下置换,得到误差 e2。至此,可以用 e1-e2 来刻画特征 j 的重要性。其依据就是,如果一个特征很重要,那么其变动后会非常影响测试误差,如果测试误差没有怎么改变,则说明特征j不重要。

而该方法中涉及到的对数据进行打乱的方法通常有两种:
1)是使用uniform或者gaussian抽取随机值替换原特征;
2)是通过permutation的方式将原来的所有N个样本的第 i 个特征值重新打乱分布(相当于重新洗牌)。

集成学习Bagging算法Bagging+Pasting随机森林极端随机树集成(Extra-trees)特征重要度包外评估

集成学习、Bagging算法、Bagging+Pasting、随机森林、极端随机树集成(Extra-trees)、特征重要度、包外评估

目录

以上是关于随机森林如何评估特征重要性的主要内容,如果未能解决你的问题,请参考以下文章

利用随机森林对特征重要性进行评估

集成学习Bagging算法Bagging+Pasting随机森林极端随机树集成(Extra-trees)特征重要度包外评估

随机森林原理与Sklearn参数详解

随机森林回归进行特征重要性排序时,如何同时得知特征x与预测量y之间是正相关还是负相关?

随机森林进行特征重要性度量的详细说明

随机森林的REF递归特征消除法来筛选特征(python实现不依赖sklearn)