为啥 GridSearchCV 模型结果与我手动调整的模型不同？

Posted 2023-03-12

【中文标题】为啥 GridSearchCV 模型结果与我手动调整的模型不同？

【英文标题】：Why GridSearchCV model results are different than the model I manually tuned?为什么 GridSearchCV 模型结果与我手动调整的模型不同？

【发布时间】：2020-04-08 07:36:09

【问题描述】：

这是我在这里的第一个问题，希望我做对了，

我正在研究 kaggle 上流行的 Titanic 数据集，如果你想查看这个教程A Data Science Framework: To Achieve 99% Accuracy

第 5.2 部分，它教授如何进行网格搜索和调整超参数。让我先与您分享相关代码，然后再具体解决我的问题；

这是使用 GridSearchCV 调整模型：

cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)
#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)

param_grid = 'criterion': ['gini', 'entropy'],
'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best
'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none
'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2
'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1
'max_features': [None, 'auto'], #max features to consider when performing split; default none or all
'random_state': [0] 

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)
tune_model.fit(data1[data1_x_bin], data1[Target])`

    tune_model.best_params_

result is: 

    'criterion': 'gini',
     'max_depth': 4,
     'max_features': None,
     'min_samples_leaf': 5,
     'min_samples_split': 2,
     'random_state': 0,
     'splitter': 'best'

根据代码，训练和测试的准确性在调整时应该是这样的：

print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])

输出：0.8924916598172832 0.8767742588186237

出于好奇，我想使用从 GridSearchCV 获得的参数制作自己的 DecisionTreeClassifier()，

dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0,  splitter ='best')

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target],return_train_score = True, cv  = cv_split)

相同的超参数，相同的交叉验证数据框，不同的结果。为什么？

print(results['train_score'].mean(), results['test_score'].mean())

0.8387640449438202 0.8227611940298509

那是 tune_model 结果：

0.8924916598172832 0.8767742588186237

差异甚至不小。如果你问我，这两个结果应该是一样的，

我不明白有什么不同？有什么不同所以结果不同？

我尝试使用 k-fold 而不是 shufflesplit 进行交叉验证，

在这两种情况下，我都尝试了不同的 random_state 值，也尝试了 random_state = None，

仍然是不同的结果。

有人能解释一下区别吗？

编辑：顺便说一句，我还想检查测试样本结果：

dtree.fit(data1[data1_x_bin],data1[Target])
dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)

输出：(0.8295964125560538, 0.9033059266872216)

相同的模型（决策树分类器），相同的超参数，非常不同的结果

（显然它们不是相同的型号，但我看不出如何以及为什么）

【参考方案1】：

更新

默认情况下，cross_validate 使用 estimators score 方法作为默认值来评估其性能（您可以通过指定 cross validate 的 scoring kw 参数来更改它）。 DecisionTreeClassifier 类的 score 方法使用准确度作为其得分指标。在 GridSearchCV 中，roc_auc 用作分数指标。在两种情况下使用相同的分数度量会产生相同的分数。例如。如果cross_validate 的得分指标更改为roc_auc，则您观察到的模型之间的得分差异消失。

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target], scoring = 'roc_auc' ... )

关于分数指标：

分数指标的选择决定了如何评估模型的性能。

假设一个模型应该预测交通灯是否是绿色的（交通灯是绿色的 -> 1，交通灯不是绿色的 -> 0）。这个模型可能会犯两种错误。要么它说红绿灯虽然不是绿色但它是绿色的（误报），或者它说红绿灯不是绿虽然它是绿色的（误报）。在这种情况下，假阴性会很丑陋，但其后果是可以忍受的（有人必须在红绿灯处等待比必要时间更长的时间）。另一方面，误报将是灾难性的（有人通过红绿灯，因为它已被归类为绿色）。为了评估模型的性能，将选择一个评分指标，它对误报的权重高于误报（即将它们分类为“更糟糕”的错误）。 准确度在这里是一个不合适的指标，因为假阴性和假阳性会在相同程度上降低分数。例如，precision 更适合作为得分指标。该指标用 1 来衡量假阳性，用 0 来衡量假阴性（假阴性的数量对模型的精度没有影响）。有关什么是漏报、误报、精度、召回率、准确率等的全面了解，请参阅here。 F 分数（另一个分数指标）的 beta 参数可用于设置与假阴性相比，假阳性应如何加权（有关更详细的解释，请参阅here）。有关roc_auc 分数的更多信息可以找到here（它是根据混淆矩阵的不同统计量计算得出的）。

总而言之，这意味着同一个模型在一个分数指标方面表现非常好，而在另一个分数指标方面表现不佳。在您描述的情况下，由 GridSearchCV 优化的决策树和您之后实例化的树是相同的模型。两者都产生相同的准确度或相同的roc_auc 分数。您使用哪个分数指标来比较数据集上不同模型的性能取决于您认为对模型性能特别重要的标准。如果唯一的标准是正确分类了多少实例，那么准确度可能是一个不错的选择。

---

旧想法（见 cmets）：

您为 dtree (dtree = tree.DecisionTreeClassifier(random_state = 0 ...) 指定了一个随机状态，但没有为 GridSearchCV 中使用的决策树指定一个随机状态。在那里使用相同的随机状态，让我知道这是否解决了问题。

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)