Boosting and AdaBoost

Posted 2020-11-07 Skye_Zhao

boosting是一种集成技术，它试图从许多弱分类器中创建一个强大的分类器。

这是通过从训练数据构建模型来完成的，然后创建第二个模型，试图纠正第一个模型中的错误。模型被添加到训练集被完美地预测或增加模型的最大数量。

AdaBoost是第一个真正成功的用于二进制分类的增强算法。这是理解提升的最佳起点。现代增强方法建立在AdaBoost上，最显著的是随机梯度增强机。

AdaBoost是用于短决策树的。在创建了第一个树之后，每个训练实例上的树的性能都被用来衡量下一个创建的树应该注意每个训练实例的注意力。很难预测的训练数据被赋予了更多的权重，而易于预测的实例则被给予较少的权重。

模型按顺序依次创建，每一个都更新训练实例上的权重，这些实例影响下一棵树在序列中执行的学习。

在所有树建立之后，对新数据进行预测，每棵树的性能都取决于训练数据的准确性。

因为如此多的注意力都被放在了纠正错误的算法上，重要的是你有干净的数据和离群值。