决策树回归背后的数学？

Posted 2023-03-12

【中文标题】决策树回归背后的数学？

【英文标题】：Math behind decision tree regression?

【发布时间】：2019-12-23 11:01:15

【问题描述】：

我正在尝试理解决策树（回归）背后的数学原理。我遇到了 2 篇文章，他们都以不同的方式解释了如何在回归树中完成拆分。谁能指出哪一个是正确的，或者两者都相似，只是方法不同？

https://www.saedsayad.com/decision_tree_reg.htm https://www.python-course.eu/Regression_Trees.php

谢谢，

【参考方案1】：

两者都是正确的。方法 1 使用标准差来分割节点，方法 2 使用方差。由于目标值是连续的，因此同时使用了 s.d 和方差。

方差是最常用的拆分标准之一 回归树。

差异 方差是与平均值的平方差的平均值。要算出方差，首先计算每个点与均值的差值；然后，对结果进行平方和平均。

标准偏差 标准差是一种统计量，通过使用方差的平方根来查看一组数字与平均值的距离。方差的计算使用平方，因为它比非常接近均值的数据更重视异常值。这种计算还可以防止高于平均值的差异抵消低于平均值的差异，这有时会导致方差为零。