提升树之Adaboost算法的介绍

Posted 2020-12-01 huangyj

主要内容：

1. 模型介绍
2. 损失函数的介绍
3. Adaboost分类算法步骤
4. Adaboost回归算法步骤
5. Adaboost函数语法
6. 提升树之Adaboost算法的应用——信用卡是否违约的识别

1.模型介绍

提升树算法与线性回归模型的思想类似，所不同的是该算法实现了多棵基础决策树??(??)的加权运算，最具代表的提升树为AdaBoost算法，即

 2.损失函数的介绍

对于Adaboost算法而言，每一棵基础决策树都是基于前一棵基础决策树的分类结果对样本点设置不同的权重，如果在前一棵基础决策树中将某样本点预测错误，就会增大该样本点的权重，否则会相应降低样本点的权重，进而再构建下一棵基础决策树，更加关注权重大的样本点。

所以，AdaBoost算法需要解决三大难题，即样本点的权重??_????如何确定、基础决策树??(??)如何选择以及每一棵基础决策树所对应的权重??_??如何计算。

 

 

 

 

3.Adaboost分类算法步骤

 

 

 4.Adaboost回归算法步骤

 

 

 5.Adaboost函数语法

 6.提升树之Adaboost算法的应用——信用卡是否违约的识别

数据集下载（下载后需要把第一行删除！）：https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients

全部源代码为：

 

代码参考博客：https://www.cnblogs.com/tszr/p/10060935.html