scikit-learn 中每个数据拆分的交叉验证指标

Posted

技术标签:

【中文标题】scikit-learn 中每个数据拆分的交叉验证指标【英文标题】:Cross-validation metrics in scikit-learn for each data split 【发布时间】:2019-06-09 14:51:14 【问题描述】:

我需要为 (X_test, y_test) 数据的每个拆分显式获取交叉验证统计信息。

所以,我尝试这样做:

kf = KFold(n_splits=n_splits)

X_train_tmp = []
y_train_tmp = []
X_test_tmp = []
y_test_tmp = []
mae_train_cv_list = []
mae_test_cv_list = []

for train_index, test_index in kf.split(X_train):
    
    for i in range(len(train_index)):
        X_train_tmp.append(X_train[train_index[i]])
        y_train_tmp.append(y_train[train_index[i]])

    for i in range(len(test_index)):
        X_test_tmp.append(X_train[test_index[i]])
        y_test_tmp.append(y_train[test_index[i]])

    model.fit(X_train_tmp, y_train_tmp) # FIT the model = SVR, NN, etc.

    mae_train_cv_list.append( mean_absolute_error(y_train_tmp, model.predict(X_train_tmp)) # MAE of the train part of the KFold.

    mae_test_cv_list.append( mean_absolute_error(y_test_tmp, model.predict(X_test_tmp)) ) # MAE of the test part of the KFold.

    X_train_tmp = []
    y_train_tmp = []
    X_test_tmp = []
    y_test_tmp = []

使用例如 KFold 获取每个交叉验证拆分的平均绝对误差 (MAE) 是否正确?

【问题讨论】:

【参考方案1】:

您的方法存在一些问题。

首先,您当然不必在您的训练和验证列表(即您的 2 个内部 for 循环)中一个一个地手动添加数据;简单的索引就可以完成这项工作。

此外,我们通常从不计算和报告训练 CV 折叠的错误 - 只有验证折叠的错误。

牢记这些,并将术语切换为“验证”而不是“测试”,这是一个使用波士顿数据的简单可重复示例,应该可以直接适应您的情况:

from sklearn.model_selection import KFold
from sklearn.datasets import load_boston
from sklearn.metrics import mean_absolute_error
from sklearn.tree import DecisionTreeRegressor

X, y = load_boston(return_X_y=True)
n_splits = 5
kf = KFold(n_splits=n_splits, shuffle=True)
model = DecisionTreeRegressor(criterion='mae')

cv_mae = []

for train_index, val_index in kf.split(X):
    model.fit(X[train_index], y[train_index])
    pred = model.predict(X[val_index])
    err = mean_absolute_error(y[val_index], pred)
    cv_mae.append(err)

之后,您的cv_mae 应该是这样的(由于简历的随机性,细节会有所不同):

[3.5294117647058827,
 3.3039603960396042,
 3.5306930693069307,
 2.6910891089108913,
 3.0663366336633664]

当然,所有这些明确的东西并不是真正必要的;您可以使用cross_val_score 更简单地完成这项工作。不过有一个小问题:

from sklearn.model_selection import cross_val_score
cv_mae2 =cross_val_score(model, X, y, cv=n_splits, scoring="neg_mean_absolute_error")
cv_mae2
# result
array([-2.94019608, -3.71980198, -4.92673267, -4.5990099 , -4.22574257])

除了不是真正问题的负号之外,您会注意到结果的方差看起来明显高于我们上面的cv_mae;原因是我们没有shuffle我们的数据。不幸的是,cross_val_score 不提供洗牌选项,因此我们必须使用shuffle 手动执行此操作。所以我们的最终代码应该是:

from sklearn.model_selection import cross_val_score
from sklearn.utils import shuffle
X_s, y_s =shuffle(X, y)
cv_mae3 =cross_val_score(model, X_s, y_s, cv=n_splits, scoring="neg_mean_absolute_error")
cv_mae3
# result:
array([-3.24117647, -3.57029703, -3.10891089, -3.45940594, -2.78316832])

折叠之间的差异明显较小,并且更接近我们最初的cv_mae...

【讨论】:

除了utils.shuffle,您可以在cross_val_score 中使用自己的简历拆分器,在该拆分器中指定shuffle @BenReiniger 正确,您可以使用cv=kf,和kf = KFold(n_splits=n_splits, shuffle=True),正如我在上面第一个sn-p 中定义的那样。

以上是关于scikit-learn 中每个数据拆分的交叉验证指标的主要内容,如果未能解决你的问题,请参考以下文章

Scikit-Learn 中的分层标记 K 折交叉验证

Scikit-learn SVC 在随机数据交叉验证中总是给出准确度 0

scikit-learn 中的 LassoCV 如何分区数据?

为啥 scikit-learn SVM 分类器交叉验证这么慢?

如何创建一个应用 z-score 和交叉验证的 scikit-learn 管道?

Scikit-Learn:在交叉验证期间避免数据泄漏