提升算法——Adaboost

Posted 小白闯

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了提升算法——Adaboost相关的知识,希望对你有一定的参考价值。

思路:通过改变训练样本权重,学习多个分类器,并将这些分类器进行线性组合,提高分类器性能。大多数提升方法都是改变训练数据的概率分布(数据的权值)

强可学习:存在一个多项式的学习算法能够学习他,并且正确率很高

弱可学习:存在一个多项式学习算法学习,正确率比随机猜测要好一些

具体问题:

(1)在每一轮如何改变数据权值:提高被前一轮分类器错误分类样本的权值

(2)如何将弱分类器组成强分类器:加权多数表决法,加大正确率高(误差率小)的弱分类器的权值

AdaBoost算法:

 

以上是关于提升算法——Adaboost的主要内容,如果未能解决你的问题,请参考以下文章

提升算法

GBDT —— 梯度提升决策树

李航统计学习方法--8. 提升方法(详细推导)

GBDT:梯度提升决策树

Adaboost提升算法从原理到实践

提升方法与梯度提升决策树