GBDT && XGBOOST

Posted acceptedlin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了GBDT && XGBOOST相关的知识,希望对你有一定的参考价值。

                              GBDT && XGBOOST

                          技术分享图片

Outline

                  Introduction

                  GBDT Model

                  XGBOOST Model

                  GBDT vs. XGBOOST

                  Experiments

                  References

Introduction

Gradient Boosting Decision Tree is a machine learning technique for regression and classification problems, which produces a prediction model in the form of an ensemble of basic learning models, typically decision trees.

Decision Tree: e.g.

技术分享图片

eXtreme Gradient Boosting (XGBOOST) is an efficient implementation of Gradient Boosting method, a scalable, portable and distributed GB library, and it was started as a research project by Tianqi Chen.

技术分享图片

GBDT Model

技术分享图片

技术分享图片

XGBOOST Model

技术分享图片

技术分享图片

技术分享图片

GBDT vs XGBOOST:

技术分享图片

Experiments

技术分享图片

技术分享图片

技术分享图片

技术分享图片

References:

1. J. Friedman(1999). Greedy Function Approximation: A Gradient Boosting

Machine.

2. J. Friedman(1999). Stochastic Gradient Boosting.

3. T. Chen, C. Guestrin(2016). XGBoost: A Scalable Tree Boosting System.

以上是关于GBDT && XGBOOST的主要内容,如果未能解决你的问题,请参考以下文章

CART & GBDT

GBDT(Gradient Boosting Decision Tree)算法&协同过滤算法

LightGBM算法 & XGBoost算法对比分析

CatBoost算法 & XGBoost算法 & Light GBM算法

集成学习:随机森林.GBDT

深度学习之决策树与迭代决策树(GBDT)