对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合弱分类器构成强分类器。大多数提升法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。
关于AdaBoost的做法是，1、提高前一轮弱分类器错误分类样本的权值，降低正确分类样本的权值，从而以权值增大来获取对弱分类器更大的关注。2、关于分类结果的问题，AdaBoost采取加权多数表决的方法，加大分类误差率小的弱分类器的权值，使其在表决中起到作用更大，减少分类误差率大的弱分类器的权值，使其在表决中起较小的作用。