sklearn GBDT（梯度下降树）模型使用RandomSearchCV获取最优参数及可视化

Posted 2021-05-18 Data+Science+Insight

sklearn GBDT（梯度下降树）模型使用RandomSearchCV获取最优参数及可视化

gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非常喜欢问这个算法。

gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度，（此处是可以证明的）。

弱分类器一般会选择为CART TREE（也就是分类回归树）。由于上述高偏差和简单的要求 每个分类回归树的深度不会很深。最终的总分类器 是将每轮训练得到的弱分类器加权求和得到的（也就是加法模型）。

 

def run_gbdt(X_train_pd, y_train, features_test,target_test, max_depth_list=[2,5],boosters = [\'gbtree\',\'gblinear\',\'dart\'],
                n_estimators_list=[5,10,50], scoring_metric=\'auc\',
                grid_sc