机器学习技法-AdaBoost元算法

Posted 2020-07-03 wxquare的学习笔记

课程地址：https://class.coursera.org/ntumltwo-002/lecture

重要！重要!重要~

一、Adaptive Boosting 的动机

通过组合多个弱分类器（hypothese），构建一个更强大的分类器（hypothese），从而达到“三个臭皮匠赛过诸葛亮”的效果。

例如实际中，可以通过简单的“横”“竖”组成比较复杂的模型。

二、样本权重

AdaBoost元算法中有个很重要的概念叫样本权重u。

学习算法A使用相同的样本集合D，每次训练后，D中每个样本的权重u会有所变化。由于样本权重u不同，所以每次都会生成不同g(t).

总的原则是“增大错误样本的权重，减小正确样本的权重”。数学描述如下：

 

三、AdaBoost元算法描述

初始化样本权重u，通多”弱算法“A、迭代更新样本权重u，生成不同的g(t)，当错误率或者迭代次数满足要求后，通过alpha融合g(t)，得到”强算法“G。

四、单层决策树（Decision Stump）

通常在AdaBoost使用的“弱算法”为单层决策树。在二维空间上的物理意义是针对某些特征的“横、竖”线。

五、AdaBoost的应用案例

对数据集迭代100次的AdaBoost算法分类结果，类似sine函数形状。