sklearn cross_val_score 的准确性低于手动交叉验证

Posted

技术标签:

【中文标题】sklearn cross_val_score 的准确性低于手动交叉验证【英文标题】:sklearn cross_val_score gives lower accuracy than manual cross validation 【发布时间】:2017-09-27 00:51:44 【问题描述】:

我正在处理一个文本分类问题,我已经这样设置(为了简洁起见,我省略了数据处理步骤,但它们会生成一个名为 data 的数据框,其中包含 X 列和y):

import sklearn.model_selection as ms
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.ensemble import RandomForestClassifier

sim = Pipeline([('vec', TfidfVectorizer((analyzer="word", ngram_range=(1, 2))),
                ("rdf", RandomForestClassifier())])

现在我尝试通过在 2/3 的数据上对其进行训练并在剩余的 1/3 上对其进行评分来验证该模型,如下所示:

train, test = ms.train_test_split(data, test_size = 0.33)
sim.fit(train.X, train.y)
sim.score(test.X, test.y)
# 0.533333333333

我想对三个不同的测试集执行此操作 3 次,但使用 cross_val_score 得到的结果要低得多。

ms.cross_val_score(sim, data.X, data.y)
# [ 0.29264069  0.36729223  0.22977941]

据我所知,该数组中的每个分数都应该通过对 2/3 的数据进行训练并使用 sim.score 方法对剩余的 1/3 进行评分来产生。那么为什么它们都低这么多呢?

【问题讨论】:

【参考方案1】:

我在写问题的过程中解决了这个问题,所以就这样吧:

cross_val_score 的默认行为是使用KFoldStratifiedKFold 来定义折叠。默认情况下,两者都有参数shuffle=False,因此不会从数据中随机拉出折叠:

import numpy as np
import sklearn.model_selection as ms

for i, j in ms.KFold().split(np.arange(9)):
    print("TRAIN:", i, "TEST:", j)
TRAIN: [3 4 5 6 7 8] TEST: [0 1 2]
TRAIN: [0 1 2 6 7 8] TEST: [3 4 5]
TRAIN: [0 1 2 3 4 5] TEST: [6 7 8]

我的原始数据是按标签排列的,因此通过这种默认行为,我试图预测很多我在训练数据中没有看到的标签。如果我强制使用KFold(我在做分类,所以StratifiedKFold 是默认值),这会更加明显:

ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold())
# array([ 0.05530776,  0.05709188,  0.025     ])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = False))
# array([ 0.2978355 ,  0.35924933,  0.27205882])
ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold(shuffle = True))
# array([ 0.51561106,  0.50579839,  0.51785714])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = True))
# array([ 0.52869565,  0.54423592,  0.55626715])

手工操作给了我更高的分数,因为train_test_splitKFold(shuffle = True) 做同样的事情。

【讨论】:

另外,使用cross_val_score 中的random_state 参数和您的手册KFold,您可以确保获得完全相同的结果 请注意,如果洗牌案例的得分明显高于不洗牌,并且数据集不能代表分类器将用于执行预测的整个人群,那么较高的分数实际上可能表明过度拟合他们具有误导性。这是因为分类器是在与训练集非常相似的案例上进行测试的,因此训练-测试拆分无法达到其目的,泛化能力可能很差。

以上是关于sklearn cross_val_score 的准确性低于手动交叉验证的主要内容,如果未能解决你的问题,请参考以下文章

为啥 xgboost.cv 和 sklearn.cross_val_score 给出不同的结果?

在 sklearn cross_val_score 上评估多个分数

我从 GridSearchCV 获得的 R^2 分数与我从 cross_val_score 获得的分数非常不同,为啥? (sklearn,python)

使用joblib在sklearn中重用由cross_val_score拟合的模型

sklearn中的cross_val_score交叉验证

scikit-learn中的cross_val_score函数scoring参数设置