李航统计学习方法--8. 提升方法(详细推导)

Posted 2022-07-13 wx5cbd4315aefc1

目录

• ​​8.1 提升方法AdaBoost算法​​

• ​​8.1.1 提升方法的基本思路​​
• ​​8.1.2 AdaBoost算法​​
• ​​8.2 AdaBoost算法的训练误差分析​​

• ​​8.3 AdaBoost算法的解释​​

• ​​8.3.1前向分步算法​​
• ​​8.3.2 前向分步算法与AdaBoost​​

• ​​8.4 提升树​​

• ​​8.4.1 提升树模型​​
• ​​8.4.2 提升树算法​​
• ​​8.4.3 梯度提升​​

• 提升方法的基本思路:将弱可学习算法提升为强可学习算法
• 集成学习:序列方法和并行方法
• 集成学习: Bagging, Boosting, Stacking
• Bagging:每个预测器使用的算法相同,但是在不同的训练集随机子集上进行训练。采样时如果将样本放回,这时方法叫做 Bagging
• Boosting:可以将几个弱学习器结合成一个强学习器的集成方法,大多数提升方法的总体思路是循环训练预测器,每一次都对其前序做出一些改变。

---

8.1 提升方法AdaBoost算法

---

8.1.1 提升方法的基本思路

---

朴素介绍：

• 提升方法基于这样一种思想:对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独的判断好。实际上,就是“三个臭皮匠顶个诸葛亮”的道理。

几个概念

• 强可学习：在概率近似正确(probably approximatelycorrect, PAC)学习的框架中,一个概念(一个类),如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么就称这个概念是强可学习的;
• 弱可学习：一个概念,如果存在一个多项式的学习算法能够学习它,学习的正确率仅比随机猜测略好,那么就称这个概念是弱可学习的。
• 强可学习与弱可学习是等价的

具体说来，整个Adaboost迭代算法就3步:

1. 初始化训练数据的权值分布。如果有个样本，则每一 一个训练样本最开始时都被赋予相同的权值:。
2. 训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低;相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。
3. 将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

---

8.1.2 AdaBoost算法

---

AdaBoost算法

输入: 训练数据集 , 其中 以上是关于李航统计学习方法--8. 提升方法(详细推导)的主要内容，如果未能解决你的问题，请参考以下文章

统计学习方法　李航　提升方法

《统计学习方法（李航）》讲义 第08章 提升方法

超全！李航《统计学习方法》读书笔记

《周志华机器学习详细公式推导版》发布，Datawhale开源项目pumpkin-book

李航《统计学习方法》高清带标签可复制PDF学习下载

详细推导线性回归