如何调整随机森林模型中的特征权重?

Posted

技术标签:

【中文标题】如何调整随机森林模型中的特征权重?【英文标题】:How to Adjust Feature Weights in Random Forest Model? 【发布时间】:2021-07-28 17:16:37 【问题描述】:

我正在使用 Scikit-Learn 的随机森林库,我想知道是否可以更改特征权重,以便特定特征产生更大的影响。我浏览了 Random Forest 文档,但我只看到我不感兴趣的类的权重变化。

除了重写代码本身之外,还有其他方法吗?任何建议将不胜感激。

【问题讨论】:

不确定您为什么要这样做。你能详细说明一下吗? 我有一个可解释的框架,它告诉我哪些功能对输出的影响最大。获得此输出后,我将尝试更改随机森林模型的特征权重,以查看准确性是否有所提高。 【参考方案1】:

据我所知,您不应该这样做,因为算法本身更擅长通过计算每个决策树的 Gini 杂质来确定哪个特征更重要。如果你想改进模型,我建议尝试提升模型而不是 bagging(随机森林)。 XGBoost、LightGBM、CatBoost都是不错的选择,我个人比较喜欢用CatBoost,因为它是最新的boosting算法,效果更佳。

【讨论】:

【参考方案2】:

尝试一些超参数技术,例如 sklearn.model_selection 中的 RandomizedSearchCV 和 GridSearchCV

【讨论】:

以上是关于如何调整随机森林模型中的特征权重?的主要内容,如果未能解决你的问题,请参考以下文章

特征筛选(随机森林)

决策树与随机森林

决策树与随机森林

决策树与随机森林

机器学习决策树与随机森林(转)

如何将随机森林中的选定特征转换为新列表