sklearn.metrics.roc_curve用法

Posted 2023-04-19

参考技术A ROC曲线指受试者工作特征曲线/接收器操作特性(receiver operating characteristic，ROC)曲线,是反映灵敏性和特效性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性。ROC曲线是根据一系列不同的二分类方式（分界值或决定阈），以真正例率（也就是灵敏度）（True Positive Rate,TPR）为纵坐标，假正例率（1-特效性）（False Positive Rate,FPR）为横坐标绘制的曲线。
ROC观察模型正确地识别正例的比例与模型错误地把负例数据识别成正例的比例之间的权衡。TPR的增加以FPR的增加为代价。ROC曲线下的面积是模型准确率的度量，AUC（Area under roccurve）。

纵坐标：真正率（True Positive Rate , TPR）或灵敏度（sensitivity）

TPR = TP /（TP + FN） （正样本预测结果数 / 正样本实际数）

横坐标：假正率（False Positive Rate , FPR）

FPR = FP /（FP + TN） （被预测为正的负样本结果数 /负样本实际数）

形式：

该函数返回这三个变量：fpr,tpr,和阈值thresholds;

这里理解thresholds:

分类器的一个重要功能“概率输出”，即表示分类器认为某个样本具有多大的概率属于正样本（或负样本）。

“Score”表示每个 测试 样本属于正样本的概率。

接下来，我们从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当threshold取值越多，ROC曲线越平滑。其实，我们并不一定要得到每个测试样本是正样本的概率值，只要得到这个分类器对该测试样本的“评分值”即可（评分值并不一定在(0,1)区间）。评分越高，表示分类器越肯定地认为这个测试样本是正样本，而且同时使用各个评分值作为threshold。我认为将评分值转化为概率更易于理解一些。

sklearn.metrics.roc_curve使用说明

roc曲线是机器学习中十分重要的一种学习器评估准则，在sklearn中有完整的实现，api函数为sklearn.metrics.roc_curve(params)函数。

官方接口说明：http://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_curve.html

不过这个接口只限于进行二分类任务。！

下面主要是对官方接口做一下翻译。

接口函数   sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)

参数说明

　　　　y_true：数组，存储数据的标签，维度就是样本数，形如[0,1,1,0,1...]这样的，也可以是-1和1，只要有两个值

　　　　y_score：数组，存储数据的预测概率值，维度也是样本数，形如[0.38,0.5,0.8]这样的

　　　　pos_label：整型或字符串，当y_true中只有一个值时，比如都是1或者都是0，无法判断哪个是正样本，需要用一个数字或字符串指出

　　　　sample_weight：采样权重，这个官方没有仔细说，是一个可选参数，有待考察

　　　　drop_intermediate：丢掉一些阈值，以便画roc曲线图

返回值：一共三个，分别是fpr,tpr,thresholds

　　　　fpr：数组，随阈值上涨的假阳性率

　　　　tpr：数组，随阈值上涨的真正例率

　　　　thresholds：数组，对预测值排序后的score列表，作为阈值，排序从大到小

举例

　　　　

>>> import numpy as np
>>> from sklearn import metrics
>>> y = np.array([1, 1, 2, 2])
>>> scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)
>>> fpr
array([ 0. ,  0.5,  0.5,  1. ])
>>> tpr
array([ 0.5,  0.5,  1. ,  1. ])
>>> thresholds
array([ 0.8 ,  0.4 ,  0.35,  0.1 ])

解释一下，样本标签为y，共有1和2两个值，预测值为scores，里面是预测为正样本的概率，正样本是什么呢，在函数中通过pos_label指定为2，然后便将score排序，

由大到小，也就有了后面的thresholds，按照这个顺序，依次将前面的样本预测为正样本，后面为负样本，这里看一下样本标签和预测值的一一对应

[1,1,2,2]->[0.1,0.4,0.35,0.8]，共有两个正样本，两个负样本

以0.8为阈值，第一个假设为正样本，后面三个假设为负样本，0.8对应的确实为正样本，则真正例率为1/2，假阳性率为0，因为没有负样本被误判为正样本

然后以0.4为阈值，前两个假设为正样本，后两个假设为负样本，0.4对应的为负样本，则真正例数没有增加，于是仍为0.5，而假阳性增加一例，此时假阳性率为1/2

后面的依此类推，这就是这个api的基本使用说明。

补充下：tpr=tp/所有正样本，fpr=fp/所有负样本