RF 和 GBDT联系和区别

Posted 2020-11-11 Google-boy

1、RF 原理
 
用随机的方式建立一个森林，森林里面有很多的决策树，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。
 
2、RF 优缺点
 
优点：
（1）在数据集上表现良好，两个随机性的引入，使得随机森林不容易陷入过拟合。
（2）在当前的很多数据集上，相对其他算法有着很大的优势，两个随机性的引入，使得随机森林具有很好的抗噪声能力
（3）能够处理很高维度（feature 很多）的数据，并且不用做特征选择，对数据集的适应能力强，既能处理离散数据，也能处理连续型数据，数据集无需规范化。
（4）可生成一个 Proximities = (pij) 矩阵，用于度量样本之间的相似性：pij=aij/N, aij表示样本i和j出现在随机森林中同一个叶子结点的次数，N随机森林中树的棵数
（5）在创建随机森林的时候，对 generlization error 使用的是无偏估计
（6）训练速度快，可以得到变量重要性排序（两种：基于 OOB 误分率的增加量和基于分裂时的 GINI 下降量）
（7）在训练过程中，能够检测到 feature 间的相互影响
（8）容易做成并行化方法
（9）实现比较简单
 
缺点：
（1）需要大量的维护工作
（2）对于小量数据集和低维数据集的分类不一定可以得到很好的效果。
（3）执行速度虽然比 Boosting 等快，但是比单个的决策树慢很多。
（4）可能会出现一些差异度很小的树，淹没了一些正确的决策。
（5）当我们需要推断超出范围的独立变量或非独立变量，随机森林做的并不好，我们最好使用如 MARS 那样的算法。
（6）随机森林算法在训练和预测时都比较慢。
（7）如果需要区分的类别十分多，随机森林的表现并不会很好。
 
3、RF 的优化点
 
（1）候选特征数 K
K 越大，单棵树的效果会提升，但树之间的相关性也会增强
 
（2）决策树数量 M
M 越大，模型效果会有提升，但计算量会变大
 
4、RF 和 GBDT 的联系和区别
 
联系：
 
RF 和 GBDT 都是在决策树上进行改造或者集成完成的。
 
区别：
 
随机森林：决策树 + bagging  = 随机森林
梯度提升树：决策树 + Boosting = GBDT

 

 

1. RF 原理
 
多个决策树同时建模，生成的结果，输出的结果是集体输出的众数决定的，随机森林可以通过收集很多树的子节点对各个类别投票，然后选择获得最多投票的类别作为判断结果。通过计算”森林“的所有子节点的值的平均值来解决回归问题。
随机森林既可以解决回归问题，也可以解决分类问题。

2. RF 优缺点
 
优点： 可以使用更少的重要变量，获得最好的预测性能 1、在数据集上表现良好，相对于其他算法有较大的优势（训练速度、预测准确度）；2、能够处理很高维的数据，并且不用特征选择，而且在训练完后，给出特征的重要性；3、容易做成并行化方法。
缺点：在噪声较大的分类或者回归问题上回过拟合。

3. RF 的优化点
基于随机森林的智能算法特征选择和参数优化混合算法，通过二进制编码，对树的规模、子属性个数和特征选择同时搜索，以最小化袋外数据误差为目标函数。实验选择高维二分类和多分类数据，对比了无特征选择下，参数传统取值和混合遗传随机森林、混合粒子群随机森林和混合鱼群随机森林算法的结果，从F值、G-mean、AUC和OOB error等多个指标表明该算法可以提高随机森林的性能，为特征选择和参数优化提供了新思路。

4. RF 和 GBDT的联系和区别
随机森林，决策树基础上使用Bagging，Bagging可以简单的理解为：放回抽样，多数表决（分类）或简单平均（回归）,同时Bagging的基学习器之间属于并列生成，不存在强依赖关系。
GBDT，决策树基础上使用Boosting，与传统的Boosting区别较大，它的每一次计算都是为了减少上一次的残差，而为了消除残差，我们可以在残差减小的梯度方向上建立模型,所以说，在GradientBoost中，每个新的模型的建立是为了使得之前的模型的残差往梯度下降的方法，与传统的Boosting中关注正确错误的样本加权有着很大的区别。

 

by the way：

RF的两个随机指的是
随机选取划分特征:对于决策树的每个节点，先从该节点的属性集合中随机选取包含k个属性的子集，再从这个子集中选择一个最优属性进行划分，一般推荐k=log2d
随机选取样本:有放回的随机选取样本，因此每个弱学习器的训练样本是有重叠的样本子集。