如何调整随机森林模型中的特征权重?
Posted
技术标签:
【中文标题】如何调整随机森林模型中的特征权重?【英文标题】:How to Adjust Feature Weights in Random Forest Model? 【发布时间】:2021-07-28 17:16:37 【问题描述】:我正在使用 Scikit-Learn 的随机森林库,我想知道是否可以更改特征权重,以便特定特征产生更大的影响。我浏览了 Random Forest 文档,但我只看到我不感兴趣的类的权重变化。
除了重写代码本身之外,还有其他方法吗?任何建议将不胜感激。
【问题讨论】:
不确定您为什么要这样做。你能详细说明一下吗? 我有一个可解释的框架,它告诉我哪些功能对输出的影响最大。获得此输出后,我将尝试更改随机森林模型的特征权重,以查看准确性是否有所提高。 【参考方案1】:据我所知,您不应该这样做,因为算法本身更擅长通过计算每个决策树的 Gini 杂质来确定哪个特征更重要。如果你想改进模型,我建议尝试提升模型而不是 bagging(随机森林)。 XGBoost、LightGBM、CatBoost都是不错的选择,我个人比较喜欢用CatBoost,因为它是最新的boosting算法,效果更佳。
【讨论】:
【参考方案2】:尝试一些超参数技术,例如 sklearn.model_selection 中的 RandomizedSearchCV 和 GridSearchCV
【讨论】:
以上是关于如何调整随机森林模型中的特征权重?的主要内容,如果未能解决你的问题,请参考以下文章