为啥 xgboost.cv 和 sklearn.cross_val_score 给出不同的结果？

Posted 2023-03-12

【中文标题】为啥 xgboost.cv 和 sklearn.cross_val_score 给出不同的结果？

【英文标题】：Why xgboost.cv and sklearn.cross_val_score give different results?为什么 xgboost.cv 和 sklearn.cross_val_score 给出不同的结果？

【发布时间】：2017-04-29 09:25:42

【问题描述】：

我正在尝试对数据集进行分类。我第一次使用 XGBoost：

import xgboost as xgb
import pandas as pd
import numpy as np

train = pd.read_csv("train_users_processed_onehot.csv")
labels = train["Buy"].map("Y":1, "N":0)

features = train.drop("Buy", axis=1)
data_dmat = xgb.DMatrix(data=features, label=labels)

params="max_depth":5, "min_child_weight":2, "eta": 0.1, "subsamples":0.9, "colsample_bytree":0.8, "objective" : "binary:logistic", "eval_metric": "logloss"
rounds = 180

result = xgb.cv(params=params, dtrain=data_dmat, num_boost_round=rounds, early_stopping_rounds=50, as_pandas=True, seed=23333)
print result

结果是：

        test-logloss-mean  test-logloss-std  train-logloss-mean  
0             0.683539          0.000141            0.683407
179           0.622302          0.001504            0.606452  

我们可以看到它在 0.622 左右；

但是当我使用完全相同的参数切换到sklearn 时（我认为），结果完全不同。以下是我的代码：

from sklearn.model_selection import cross_val_score
from xgboost.sklearn import XGBClassifier
import pandas as pd

train_dataframe = pd.read_csv("train_users_processed_onehot.csv")
train_labels = train_dataframe["Buy"].map("Y":1, "N":0)
train_features = train_dataframe.drop("Buy", axis=1)

estimator = XGBClassifier(learning_rate=0.1, n_estimators=190, max_depth=5, min_child_weight=2, objective="binary:logistic", subsample=0.9, colsample_bytree=0.8, seed=23333)
print cross_val_score(estimator, X=train_features, y=train_labels, scoring="neg_log_loss")

结果是：[-4.11429976 -2.08675843 -3.27346662]，反转后距离0.622还有很大距离。

我在cross_val_score 中设置了一个断点，发现分类器正在做出疯狂的预测，试图以大约 0.99 的概率将测试集中的每个元组预测为负数。

我想知道我哪里出错了。有人可以帮我吗？

【问题讨论】：

我认为在参数的定义中有一个错误..它应该是子样本而不是子样本....这不能解决问题，但你没有设置 subsample = 0.9 in那样

答案似乎解决了你的问题，你能接受吗？

【参考方案1】：

这个问题有点老了，不过今天碰到这个问题，搞明白了为什么xgboost.cv和sklearn.model_selection.cross_val_score给出的结果大不相同。

默认情况下，cross_val_score 使用 KFold 或 StratifiedKFold，其 shuffle 参数为 False，因此不会从数据中随机拉出折叠。

所以如果你这样做，那么你应该得到相同的结果：

cross_val_score(estimator, X=train_features, y=train_labels, scoring="neg_log_loss",
    cv = StratifiedKFold(shuffle=True, random_state=23333))

保持StratifiedKfold 中的random state 和xgboost.cv 中的seed 相同，以获得完全可重复的结果。

【讨论】：

我也遇到了这个问题，这解决了！应该写在各种 xgboost 指南的某个地方，因为我还没有找到提到它的地方！