解释 Graphviz 输出以进行决策树回归

Posted 2023-03-12

【中文标题】解释 Graphviz 输出以进行决策树回归

【英文标题】：interpreting Graphviz output for decision tree regression

【发布时间】：2021-05-21 16:09:18

【问题描述】：

我很好奇 Graphviz 用于回归时生成的决策树节点中的 value 字段是什么。我知道这是使用决策树分类时每个类中由拆分分隔的样本数，但我不确定这对回归意味着什么。

我的数据有一个 2 维输入和一个 10 维输出。以下是我的回归问题的树的示例：

使用此代码生成并使用 webgraphviz 进行可视化

# X = (n x 2)  Y = (n x 10)  X_test = (m x 2)

input_scaler = pickle.load(open("../input_scaler.sav","rb"))
reg = DecisionTreeRegressor(criterion = 'mse', max_depth = 2)
reg.fit(X,Y)
pred = reg.predict(X_test)
with open("classifier.txt", "w") as f:
    f = tree.export_graphviz(reg, out_file=f)

【参考方案1】：

回归树实际返回的输出是训练样本的因变量（此处为 Y）的平均值，这些样本最终位于各自的终端节点（叶子）中；这些平均值在图片中显示为名为 value 的列表，这里的长度都是 10，因为您的 Y 是 10 维的。

换句话说，以树的最左边的终端节点（叶子）为例：

叶子由 42 个样本组成，X[0] <= 0.675 和 X[1] <= 0.5 这 42 个样本的 10 维输出的平均值在此休假的 value 列表中给出，其长度确实为 10，即 Y[0] 的平均值为 -152007.382， Y[1] 是 -206040.675 等等，Y[9] 的平均值是 3211.487。

您可以通过预测一些样本（来自您的训练或测试集 - 没关系）并检查您的 10 维结果是否是终端中描述的 4 个value 列表之一来确认是这种情况叶子在上面。

此外，您可以确认，对于value 中的每个元素，子节点的加权平均值等于父节点的相应元素。同样，使用最左边的 2 个终端节点（叶子）的第一个元素，我们得到：

(-42*152007.382 - 56*199028.147)/98
# -178876.39057142858

即其父节点的value[0] 元素（中间级别中最左侧的节点）。再举一个例子，这次是你的 2 个中间节点的第一个 value 元素：

(-98*178876.391 + 42*417378.245)/140
# -0.00020000000617333822

这再次与您的根节点的-0.0 第一个value 元素一致。

从您的根节点的value 列表来看，您的 10 维 Y 的所有元素的平均值似乎几乎为零，您可以（并且应该）手动验证，作为最终确认。

---

所以，总结一下：

每个节点的value 列表包含“属于”各个节点的训练样本的平均 Y 值 此外，对于终端节点（叶子），这些列表是树模型的实际输出（即输出将始终是这些列表之一，具体取决于 X） 对于根节点，value 列表包含整个训练数据集的 Y 平均值