数据挖掘十大算法之AdaBoost提升算法

Posted 2022-06-08 Better Bench

目录

• 1 基本概念
• 2 算法过程
• • 2.1 AdaBoost以第一种定义的算法过程
  • 2.2 AdaBoost以第二种定义的算法过程
  • • 2.2.1 前向分布算法
    • 2.2.2 前向分布算法与AdaBoost
• 3 提升树

1 基本概念

（1）第一种定义

AdaBoost（Adaptive Boosting）是将多个弱分类器合成一个强分类器。通过提高被前一轮弱分类器错误分类样本的权值，而降低被分类正确的样本的权值，实现在每一轮改变训练数据的权值或概率分布，从而把当前轮没有得到正确分类的数据，通过权值的加大而在后一轮的弱分类器中得到更大的关注。弱分类器的组合，采用加权多数表决的方法。

（2）第二种定义

AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分布算法的二分类学习方法。

2 算法过程

2.1 AdaBoost以第一种定义的算法过程

假设给定一个二分类的训练数据集
$$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\text{\hspace{1em}(1)}$$
其中，每个样本点由实例与标记组成。实例$x_i\in X\subseteq R^n$，标记$y_i\in Y=-1,+1$，X是实例空间，Y是标记集合。AdaBoost利用以下算法，从训练数据中学习一系列弱分类器或基本分类器，并将这些弱分类器线性组合成为一个强分类器。

输入：训练数据集T，弱分类学习算法。

输出：最终分类器$G(x)$

（1）初始化训练数据的权值分布
$$D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N\text{\hspace{1em}(2)}$$

（2）对每一个基本弱分类器，m = 1,2,…,M

a. 使用具有权值分布$D_m$的训练数据集学习，得到基本分类器
$$G_m(x):X\to -1,+1\text{\hspace{1em}(3)}$$

b. 计算$G_m(x)$在训练数据集上的分类误差率
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)\text{\hspace{1em}(4)}$$

$w_{mi}$表示第m轮中第i个实例的权值，${\sum }_{i=1}^N{w}_{mi}=1$。

c. 计算$G_m(x)$的系数
$${\alpha }_m=\frac{1}{2}ln(\frac{1-e_m}{e_m}),ln(\cdot )表示自然对数\text{\hspace{1em}(5)}$$

d. 更新训练数据集的权值分布
$$\begin{gathered} D_{m+1}=(w_{m+1,1},...,w_{m+1,i,},...,w_{m+1,N} \\ {w}_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i \end{gathered}$$