如何在 scikit-learn 中使用 k 折交叉验证来获得每折的精确召回？

Posted 2023-03-12

【中文标题】如何在 scikit-learn 中使用 k 折交叉验证来获得每折的精确召回？

【英文标题】：How can I use k-fold cross-validation in scikit-learn to get precision-recall per fold?

【发布时间】：2019-03-24 07:55:13

【问题描述】：

假设我有这种情况：

from sklearn import model_selection
from sklearn.linear_model import LogisticRegression

kfold = model_selection.KFold(n_splits=5, random_state=7)
acc_per_fold = model_selection.cross_val_score(LogisticRegression(),
               x_inputs, np.ravel(y_response), cv=kfold, scoring='accuracy')

我还能从model_selection.cross_val_score() 得到什么？有没有办法查看每个实际折叠中发生的情况？我可以每折叠获得精确召回吗？预测值？使用折叠中的训练模型对看不见的数据进行预测怎么样？

【问题讨论】：

分数总是按折叠返回（另见下面的答案）；可以说，“使用折叠中的训练模型对看不见的数据进行预测”对一个肯定不是为此目的而设计的程序提出了太多要求......

@desertnaut 谢谢。我并没有特别要求什么，我只是想了解它是如何工作的。

【参考方案1】：

您可以使用cross_validate 函数查看每个折叠中发生的情况。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_validate
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, confusion_matrix, recall_score, roc_auc_score, precision_score

X, y = make_classification(
    n_classes=2, class_sep=1.5, weights=[0.9, 0.1],
    n_features=20, n_samples=1000, random_state=10
)
clf = LogisticRegression(class_weight="balanced")
scoring = 'accuracy': 'accuracy',
           'recall': 'recall',
           'precision': 'precision',
           'roc_auc': 'roc_auc'
cross_val_scores = cross_validate(clf, X, y, cv=3, scoring=scoring)

输出如下，

'fit_time': array([ 0.        ,  0.        ,  0.01559997]),
 'score_time': array([ 0.01559997,  0.        ,  0.        ]),
 'test_accuracy': array([ 0.9251497 ,  0.95808383,  0.93674699]),
 'test_precision': array([ 0.59183673,  0.70833333,  0.63636364]),
 'test_recall': array([ 0.85294118,  1.        ,  0.84848485]),
 'test_roc_auc': array([ 0.96401961,  0.99343137,  0.96787271]),
 'train_accuracy': array([ 0.96096096,  0.93693694,  0.95209581]),
 'train_precision': array([ 0.73033708,  0.62376238,  0.69148936]),
 'train_recall': array([ 0.97014925,  0.94029851,  0.95588235]),
 'train_roc_auc': array([ 0.99426906,  0.98509954,  0.99223039])

那么第一关发生了什么？

FOLD, METRIC = (0, 'test_precision')
cross_val_scores[METRIC][FOLD]

precision score 稳定吗？

np.std(cross_val_scores[METRIC])

【讨论】：

感谢您的详尽回答。据我了解，model_selection.cross_val_score 只是获取 CV 流程快照的一种快速而肮脏的方法，而 model_selection.cross_validate 具有完整的软件包。