scikit-learn RandomForestClassifier 中的特征重要性和森林结构如何相关？

Posted 2023-03-12

【中文标题】scikit-learn RandomForestClassifier 中的特征重要性和森林结构如何相关？

【英文标题】：How feature importance and forest structures are related in scikit-learn RandomForestClassifier?

【发布时间】：2017-02-08 20:02:47

【问题描述】：

这是我的问题的一个简单示例，使用 Iris 数据集。 当我试图理解如何计算特征重要性以及在使用export_graphviz 可视化估计器森林时这是如何可见的时，我感到很困惑。 这是我的代码：

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt

data = load_iris()
X = pd.DataFrame(data=data.data,columns=['sepallength', 'sepalwidth', 'petallength','petalwidth'])
y = pd.DataFrame(data=data.target)

from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=2,max_depth=1)
rf.fit(X_train,y_train.iloc[:,0])

分类器表现不佳（得分为 0.68），因为森林包含 2 棵深度为 1 的树。无论如何这在这里无关紧要。

特征重要性检索如下：

importances = rf.feature_importances_
std = np.std([rf.feature_importances_ for tree in rf.estimators_],axis=0)
indices = np.argsort(importances)[::-1]

print("Feature ranking:")
for f in range(X.shape[1]):
    print("%d. feature %s (%f)" % (f + 1, X.columns.tolist()[f], importances[indices[f]]))

输出是：

Feature ranking:
1. feature sepallength (1.000000)
2. feature sepalwidth (0.000000)
3. feature petallength (0.000000)
4. feature petalwidth (0.000000)

现在显示使用以下代码构建的树的结构时：

from sklearn.tree import export_graphviz
export_graphviz(rf.estimators_[0],
                feature_names=X.columns,
                filled=True,
                rounded=True)
!dot -Tpng tree.dot -o tree0.png
from IPython.display import Image
Image('tree0.png')

我得到这两个数字

#0 树的导出：

树 #1 的导出：

我不明白sepallength 怎么可以有 importance=1 但不能用于 两个树中的节点拆分（仅使用petallength），如图所示。

【参考方案1】：

你有一个错误

for f in range(X.shape[1]):
    print("%d. feature %s (%f)" % (f + 1, X.columns.tolist()[f], importances[indices[f]]))

如果您使用indices = np.argsort(importances)[::-1] 置换，那么您需要置换所有内容 - 不要按照一个顺序保留标签，按照不同的顺序保留重要性。

如果你把上面的替换为

for f in range(X.shape[1]):
    print("%d. feature %s (%f)" % (f + 1, X.columns.tolist()[f], importances[f]))

那么森林和它的树都一致认为索引 2 处的特征是唯一具有任何重要性的特征。