如何在回归树中计算特征重要性?

Posted

技术标签:

【中文标题】如何在回归树中计算特征重要性?【英文标题】:How feature importance is calculated in regression trees? 【发布时间】:2021-02-04 16:21:10 【问题描述】:

在使用决策树算法或随机森林进行分类的情况下,我们使用基尼杂质或信息增益作为衡量指标来决定首先选择哪个特征来拆分父/中间节点,但如果我们使用决策树或随机森林进行回归,那么如何计算特征重要性或选择特征?

【问题讨论】:

【参考方案1】:

对于回归(特征选择),分裂的目标是得到两个目标值中方差最小的孩子。 您可以检查来自 sklearn 库的 regression 与 classification 中的“标准”参数以获得更好的想法。

您也可以观看此视频:https://www.youtube.com/watch?v=nSaOuPCNvlk

【讨论】:

以上是关于如何在回归树中计算特征重要性?的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Weka 构建的决策树中找到特征重要性

如何在决策树中获取特征重要性?

随机森林回归进行特征重要性排序时,如何同时得知特征x与预测量y之间是正相关还是负相关?

R语言使用caret包的train函数构建多元自适应回归样条(MARS)模型MARS算法支持计算变量(特征)重要度,使用varImp函数提取变量(特征)重要性并可视化

如何获得逻辑回归特征对特定预测的相对重要性?

如何使用 SVM 的权重向量和逻辑回归进行特征重要性?