GBDT scikit-learn相关参数

Posted 2021-03-11 tankeyin

目录

• 1.GradientBoostingClassifier
• 2.GradientBoostingRegressor

@

1.GradientBoostingClassifier

loss:给定损失函数，可选对数似然函数deviance和指数损失函数exponential；默认为deviance；不建议修改。

n_estimators ：最大迭代次数，值过小可能会导致欠拟合，值过大可能会导致过拟合，一般50~100比较适合，默认50。

learning_rate： 指定每个弱分类器的权重缩减系数v，默认为1；一般从一个比较小的值开始进行调参；该值越小表示需要更多的弱分类器。

subsample ：给定训练模型的时候，进行子采样的比例值，取值范围(0,1], 默认为1，表示不采用子采样；给值小于1表示采用部分数据进行模型训练，可以降低模型的过拟合情况；推荐[0.5,0.8]；采样采用的方式是不放回采样。

init ：给定初始化的模型，可以不给定

2.GradientBoostingRegressor

alpha ：当使用huber或者quantile损失函数的时候，需要给定分位数的值，默认为0.9；如果噪音数据比较多，可以适当的降低该参数值。、

loss：给定损失函数，可选均方差ls、绝对损失lad、Huber损失huber、分位数损失quantile；默认ls；一般采用默认；如果噪音数据比较多，推荐huber；如果是分段预测，推荐quantile。

n_estimators 、learning_rate、 subsample 、init 同上。