笔记︱集成学习Ensemble Learning与树模型Bagging 和 Boosting

Posted 2020-08-31

笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting

本杂记摘录自文章《开发 | 为什么说集成学习模型是金融风控新的杀手锏？》

基本内容与分类见上述思维导图。 
. 
.

一、机器学习元算法

随机森林：决策树+bagging=随机森林 
梯度提升树：决策树Boosting=GBDT

 
.

1、随机森林

博客： 
R语言︱决策树族——随机森林算法

随机森林的原理是基于原始样本随机抽样获取子集，在此之上训练基于决策树的基学习器，然后对基学习器的结果求平均值，最终得到预测值。
随机抽样的方法常用的有放回抽样的booststrap，也有不放回的抽样。RF的基学习器主要为CART树（Classification And Regression Tree） 
 
CART会把输入的属性分配到各个叶子节点，而每个叶子节点上面都会对应一个实数分数。有人可能会问它和决策树（DT）的关系，其实我们可以简单地把它理解为决策树的一个扩展。从简单的类标到分数之后，我们可以做很多事情，如概率预测，排序。

. 
.

2、GBDT（Gradient Boosting Decision Tree）

.

参考博客：笔记︱决策树族——梯度提升树(GBDT）

首先使用训练集和样本真值（即标准答案）训练一棵树，使用这棵树预测训练集，得到每个样本的预测值，由于预测值与真值存在偏差，所以二者相减可以得到“残差”。 
接下来训练第二棵树，此时使用残差代替真值作为标准答案，两棵树训练完成后，可以再次得到每个样本的残差。然后进一步训练第三棵树，以此类推，树的总棵数可以人为指定，也可以监控某些指标如验证集上的误差来停止训练。 

比如我们使用两棵树来预测一个人是否喜欢电脑游戏，如上图所示，在预测新样本时，每棵树都会有一个输出值，将这些输出值相加，就可得到样本最终的预测值，故小男孩和老人的预测值分别为两棵树预测值的加和。 
. 
.

3、XGBoost

参考博客：R语言︱XGBoost极端梯度上升以及forecastxgb（预测）+xgboost（回归）双案例解读

xgboost的全称是eXtreme Gradient Boosting。正如其名，它是Gradient Boosting Machine的一个c++实现，作者为正在华盛顿大学研究机器学习的大牛陈天奇。他在研究中深感自己受制于现有库的计算速度和精度，因此在一年前开始着手搭建xgboost项目，并在去年夏天逐渐成型。xgboost最大的特点在于，它能够自动利用CPU的多线程进行并行，同时在算法上加以改进提高了精度。它的处女秀是Kaggle的希格斯子信号识别竞赛，因为出众的效率与较高的预测准确度在比赛论坛中引起了参赛选手的广泛关注，在1700多支队伍的激烈竞争中占有一席之地。随着它在Kaggle社区知名度的提高，最近也有队伍借助xgboost在比赛中夺得第一。

为了方便大家使用，陈天奇将xgboost封装成了Python库。我有幸和他合作，制作了xgboost工具的R语言接口，并将其提交到了CRAN上。也有用户将其封装成了julia库。python和R接口的功能一直在不断更新，大家可以通过下文了解大致的功能，然后选择自己最熟悉的语言进行学习。 
. 
. 
.

二、风控场景的一些经验

现金贷场景为例，给大家看一下直观的例子：比如我们针对互联网行为、APP、运营商等得到不同Feature Domain诸如信贷历史、消费能力、社会信用等子模型。我们再将其通过XGboost、LightGBM等最先进的集成学习模型框架进行输出，就可以在反欺诈、违约概率预测、风险定价等风控业务上都可以得到广泛的应用和提升。 
 
事实上，这不仅解决了机构不同维度/领域数据使用的难题，因为集成学习框架可以支持不同类型模型算法作为子模型，同时也帮助金融客户实现了更高效准确的针对稀疏、高维、非线性数据的建模过程，大大简化繁琐的特征工程，使得我们的模型具有更强的容错和抗扰动能力。 
值得一提的是，集成学习模型框架也更易于实现领域知识迁移，单独领域的子模型可以快速迁移应用到新业务领域，帮助我们金融机构实现新金融业务的快速成型和持续迭代优化。大型成熟金融场景中的实践也证明，集成学习模型除了在稳定性和泛化能力上相对传统模型有极大增强，在最终的效果上也显现出了超出想象的作用，相对成熟的逻辑回归模型最大ks值累积提升已经可以达到约70%及以上。