交叉验证分析每一折（fold of Kfold）验证数据的评估指标并绘制综合ROC曲线

Posted 2021-05-29 Data+Science+Insight

交叉验证分析每一折（fold of Kfold）验证数据的评估指标并绘制综合ROC曲线

Receiver Operating Characteristic (ROC) with cross validation

使用交叉验证评价分类器输出质量的接收机工作特征(ROC)度量示例。

ROC曲线的典型特征是Y轴为真阳性率，X轴为假阳性率。这意味着图的左上角是“理想”点——假阳性率为零，真阳性率为1。这不是很现实，但它确实意味着曲线下更大的区域(AUC)通常更好。

ROC曲线的“陡度”也很重要，因为理想的做法是最大化真阳性率，同时最小化假阳性率。

这个例子显示了不同数据集的ROC响应，由K-fold交叉验证创建。取所有这些曲线，就可以计算出曲线下的平均面积，并看到训练集被分割成不同子集时曲线的方差。这大致显示了分类器输出如何受到训练数据变化的影响，以及K-fold交叉验证产生的分割是如何不同。

 

# 参考模板，sklearn example

import numpy as np
import matplotlib.pyplot as plt

from sklearn import svm, datasets
from sklearn.metrics import auc
from sklearn.metrics import plot_roc_curve
from sklearn.model_selection import StratifiedKFold

# ##################################################