随机森林的可能算法

Posted 2023-03-12

【中文标题】随机森林的可能算法

【英文标题】：Possible Algorithms for Random Forest

【发布时间】：2020-03-14 23:19:31

【问题描述】：

我正在研究随机森林，我正在寻找随机森林的算法。

我已经查找了决策树的算法（如ID3、C4.5、CART）。

但是随机森林有哪些不同的算法？我没有完全理解文学。

你能说 bagging 和 ExtraTrees 是例子吗？

提前致谢

【参考方案1】：

任何依赖于注入随机性的各种方式来生长不同且不相关的树的树集合（即森林）都可以称为随机森林。随机森林的所有变体都基于相同的原则，即我们可以使单个树越多样化，由此产生的泛化误差就越低。

其中一种注入随机性的方法称为 Bootstrap Aggregating（Bagging），它在数据集中注入随机性 发送到每棵树**。另一个是Random Subspace 方法，它基本上在每个树节点处随机采样特征子集，以找到最佳（特征、值）分割（而不是考虑所有特征）。这里的随机性在于树的构建过程。 ExtraTree 是另一个在树构建阶段引入随机性的示例，首先通过为每个特征随机选择切点，然后选择最佳（特征、值）分割。一个有趣的variant 故意在每个基础树的数据集中独立地引入了标签噪声——我想你明白了。

然而，对于许多人来说，随机森林一词实际上是指随机森林家族中最著名的成员，该变体在 Breiman 著名的paper 中有详细介绍。这基本上使用了上面讨论的 Bagging 和 Random 子空间方法，仅此而已！

**数据集随机化技术，如装袋或标签噪声一，可以与决策树以外的任何算法一起使用。所以 Bagging 并不完全是随机森林的一个例子——它更像是随机森林的一个组成部分。

【讨论】：

非常感谢您的意见。