xgboost原理，怎么防止过拟合。随机森林，GBDT,Xgoost的区别，bagging和boosting

Posted 2022-08-03 aixiao07

一、bagging和boosting的区别

参考：https://blog.csdn.net/blank_tj/article/details/82229322

简单总结Bagging：对数据集进行多次有放回抽样，每次的抽样进行分类计算生成弱分类器，分类问题就是把每一次的计算结果进行投票，看哪一种情况票数多即为最后结果。回归问题就是把所有生成的弱分类器结果进行取平均。

简单总结Boosting：初始对每个样本分配相同的权重，每次经过分类，把对的结果的权重降低，错的结果权重增高，如此往复，直到阈值或者循环次数。

Bagging和Boosting的区别
（1） bagging的训练集是随机的，各训练集是独立的；而boosting训练集的选择不是独立的，每一次选择的训练集都依赖于上一次学习的结果；
（2） bagging的每个预测函数都没有权重；而boosting根据每一次训练的训练误差得到该次预测函数的权重；
（3） bagging的各个预测函数可以并行生成；而boosting只能顺序生成。（对于神经网络这样极为耗时的学习方法，bagging可通过并行训练节省大量时间开销）。