集成学习模型（xgboostlightgbmcatboost）进行回归预测构建实战：异常数据处理缺失值处理数据重采样resample独热编码预测特征检查特征可视化预测结构可视化模型

Posted 2021-06-30 Data+Science+Insight

集成学习模型（xgboost、lightgbm、catboost）进行回归预测构建实战：异常数据处理、缺失值处理、数据重采样resample、独热编码、预测特征检查、特征可视化、预测结构可视化、模型保存加载等

在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

集成学习在各个规模的数据集上都有很好的策略。

• 数据集大：划分成多个小数据集，学习多个模型进行组合
• 数据集小：利用Bootstrap方法进行抽样，得到多个数据集，分别训练多个模型再进行组合

Bagging是bootstrap aggregating的简写。先说一下bootstrap，bootstrap也称为自助法，它是一种有放回的抽样方法，目的为了得到统计量的分布以及置信区间。

提升方法（Boosting）是一种可以用来减小监督学习中偏差的机器学习算法。主要也是学习一系列弱分类器，并将其组合为一个强分类器。

Stacking方法是指训练一个模型用于组合其他各个模型。首先我们先训练多个不同的模型&