DBDT的改进之XGBoost算法介绍

Posted 2020-12-01 不学无墅_NKer

主要内容：

　　XGBoost算法的介绍

　　XGBoost算法的损失函数

　　XGBoost函数介绍

　　算法的应用实战——信用卡欺诈行为的识别

1.XGBoost算法的介绍

XGBoost是由传统的GBDT模型发展而来的，GBDT模型在求解最优化问题时应用了一阶导技术，而XGBoost则使用损失函数的一阶和二阶导，而且可以自定义损失函数，只要损失函数可一阶和二阶求导。

XGBoost算法相比于GBDT算法还有其他优点，例如支持并行计算，大大提高算法的运行效率；XGBoost在损失函数中加入了正则项，用来控制模型的复杂度，进而可以防止模型的过拟合；XGBoost除了支持CART基础模型，还支持线性基础模型；XGBoost采用了随机森林的思想，对字段进行抽样，既可以防止过拟合，也可以降低模型的计算量。

2.XGBoost算法的损失函数

 

 2.1损失函数的演变

 

 

 3.XGBoost函数介绍

 

 4.算法的应用实战——信用卡欺诈行为的识别

 数据下载：https://www.kaggle.com/mlg-ulb/creditcardfraud

完整代码：https://www.cnblogs.com/tszr/p/10060935.html