GBDT--简单理解

Posted 2020-09-30 yxysuanfa

梳理

1.Model Ensemble 能够分为三大类：Bagging，Boosting。 Stacking.

2.Boosting能够说是一个思想（框架），而Adaboost等算法仅仅是其一个子类，记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award？：

3.Boosting的 前向分布算法（在每一步求解弱分类器Φ(m)和其參数w(m)的时候不去改动之前已经求好的分类器和參数）：

4.不同的objective和最小化其的方法决定了不同种类的Boosting:

5.GBDT事实上就是上图中的Gradient Boosting的一个子类（弱分类器为决策树）

决策树

1.决策树的入门介绍參考: 算法杂货铺——分类算法之决策树(Decision tree)

2.决策树的特征选择: 1）信息增益， 2）信息增益比

3.决策树的生成算法：1）ID3算法–依据信息增益。 2）C4.5算法–依据信息增益比。 3）CART（包含回归和分类。二叉树生成）

4.决策树的剪枝：事实上就是一个Loss和T（表示决策树结点个数）trade off的过程

5.详细细节參考:《统计学习方法–李航》