GBDT

Posted 2020-12-18 ylxn

一、简介

　　GBDT为梯度提升树，是提升树的一种改进形式。

 

二、算法原理

　　（1）初始化弱模型

$$f_{0}(x_{i})=argmin_{c}sum_{i=1}^{N}L(y_{i},c)$$

　　（2）在第m轮模型的计算中

　　　　（a）对每个样本i，计算负梯度

$$r_{im}=-frac{partial L(y_{i},f_{m-1}(x_{i}))}{partial f_{m-1}(x_i)}$$

　　　　（b）将$r_{im}$作为下一轮样本i的真实值，即 $(x_{i}, r_{im})$

　　　　（c）计算叶子结点j的权值

$$omega_{jm}=argmin_{omega}sum_{x_{i}in R_{jm}}^{}L(y_{i},f_{m-1}(x_{i})+omega)$$

　　　　（d）m轮得到的新模型为

$$f_{m}(x)=f_{m-1}(x)+sum_{j}^{J}omega_{jm}I(xin R_{jm})$$

　　（3）最终模型

$$f_{x}=sum_{m}^{M}f_{m}(x)=f_{0}(x)+sum_{m}^{M}sum_{j}^{J}omega_{jm}I(xin R_{jm})$$