GBDT XGBOOST的区别与联系

Posted 2020-09-08 飞鸟各投林

Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。 

传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。

传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和

列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。

xgboost工具支持并行。

Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

　　首先xgboost是Gradient Boosting的一种高效系统实现，并不是一种单一算法。

　　xgboost里面的基学习器除了用tree(gbtree)，也可用线性分类器(gblinear)。而GBDT则特指梯度提升决策树算法。
　　xgboost相对于普通gbm的实现，可能具有以下的一些优势：

1. 显式地将树模型的复杂度作为正则项加在优化目标
2. 公式推导里用到了二阶导数信息，而普通的GBDT只用到一阶
3. 允许使用column(feature) sampling来防止过拟合，借鉴了Random Forest的思想，sklearn里的gbm好像也有类似实现。

　　4.实现了一种分裂节点寻找的近似算法，用于加速和减小内存消耗。
　　5.节点分裂算法能自动利用特征的稀疏性。
　　6.data事先排好序并以block的形式存储，利于并行计算
　　7.cache-aware, out-of-core computation，这个我不太懂。。
　　8.支持分布式计算可以运行在MPI，YARN上，得益于底层支持容错的分布式通信框架rabit。

 

工作中用得比较多，区别在于：
1. 在Loss function中做approximate，把泰勒展开限制为1阶和2阶偏导，gbdt是1阶；
2. penalty function Omega主要是对树的叶子数和叶子分数做惩罚，这点确保了树的简单性；
3. 快，非常快，最新版本支持spark，4000多万样本，70个dimension，200棵树的训练也就1小时不到；