GBDT原理学习

Posted 2021-02-09 kjkj

首先推荐 刘建平 的博客学习算法原理推导，这位老师的讲解都很详细，不过GBDT的原理讲解我没看明白，

而是1、先看的https://blog.csdn.net/zpalyq110/article/details/79527653这篇博客，用实例让读者对该算法有一个清晰的了解；

2、接着是刘建平老师 https://www.cnblogs.com/pinard/p/6140514.html 的文章，其实目前我看着还是有点晦涩，但是可以之后相互参考看

3、在刘建平老师的评论中 还看到了https://www.zhihu.com/question/54626685?from   用户Frankenstein 的回答也很精湛

可以参照上述链接依次学习。

不过GBDT与其他算法不同的一点在于没有那么多的理论推导，主要是将CART回归树与负梯度 的结合。通过CART决策树对样本划分得到树结构，

每轮得到新的样本y值（平方损失为每轮之间的残差），每轮依次减少误差，最后达到最小误差。