Adaboost

Posted 2020-11-21 yinghuali

Adaboost(Adaptive Boosting 自适应增强的缩写)

自适应表现及思路：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用到来训练下一个基本分类器，同时，在每一轮中加入一个新的弱分类器，直达到某个预定的足够小的错误率或预先指定的最大迭代次数

算法流程：
1）初始化训练数据的权值分布，每个样本权值相同1/N
3） 训练弱分类器（分类器可以是决策树，等等自己选择），计算误差率（误分类样本权值之和），计算该分类器权重（即改分类器重要程度）使得分类误差率越小的分类器权重大，误差率大的分类器权重小。更新样本权重，使得误分类样本的权值增大，正确分类的样本权值减小。
4） 重复3）直达到某个预定的足够小的错误率或预先指定的最大迭代次，最终分类器，是各个弱分类器与各自权重积的和，在经过sign函数