xgboost

Posted zjgtan

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了xgboost相关的知识，希望对你有一定的参考价值。

xgboost

基本概念

Given dataset

技术分享图片

a tree ensemble model uses K additive functions to predict the output
技术分享图片

where, 技术分享图片是CART的集合
技术分享图片

优化目标
技术分享图片

其中，技术分享图片为正则项
技术分享图片

when train the model in additive manner, minimize the objective 技术分享图片 for 技术分享图片

技术分享图片

也即，技术分享图片拟合的是技术分享图片和技术分享图片的差值

基于二阶泰勒展开

技术分享图片

这是一条过技术分享图片点的二次曲线，是技术分享图片在技术分享图片附近的近似
则可以针对技术分享图片进行二次近似
技术分享图片

进一步化解
技术分享图片

其中
技术分享图片

技术分享图片





















以上是关于xgboost的主要内容，如果未能解决你的问题，请参考以下文章