python 使用sklearn绘制roc曲线选取合适的分类阈值

Posted 2021-02-27 入侵检测引擎算法工程师/前ICPC选手

https://zhuanlan.zhihu.com/p/26293316

比如,

我已经初步训练好了一个模型,现在我想用这个模型从海量的无标记数据集挖掘出某一类数据A,并且想要尽量不包含其他所有类B

但我挖掘出的结果必然包含错误的,我拿出的A越多,同时附带的分类错数据B也就越多,

一般,拿出的A占总体比例越大,拿出的B类也会占总体比例越大,这个比例的变化一般是单调非线性的,且根据实际情况,我们可接受的比例也不同

简单来说,不同的recall对应不同的precision,它对应的阈值也不同,我们需要根据实际情况进行分析,找到最合适实际情况的

可以使用roc曲线来寻找

以下代码可以绘制roc并且根据recall找到对应的precision

    fpr, tpr, thresholds = roc_curve(target, score, pos_label=1)

    
    for i in range(tpr.shape[0]):
        if tpr[i] > _recall:
            print(tpr[i], 1-fpr[i], thresholds[i])
            break

    roc_auc = auc(fpr, tpr)
    plt.figure(figsize=(10, 10))
    plt.plot(fpr, tpr, color=‘darkorange‘,
            lw=2, label=‘ROC curve (area = %0.2f)‘ % roc_auc)
    plt.plot([0, 1], [0, 1], color=‘navy‘, lw=2, linestyle=‘--‘)
    plt.xlim([0.0, 1.0])
    plt.ylim([0.0, 1.05])
    plt.xlabel(‘False Positive Rate‘)
    plt.ylabel(‘True Positive Rate‘)
    plt.title(‘Receiver operating characteristic example‘)
    plt.legend(loc="lower right")
    results_dir,_tmp = os.path.split(label_files)
    plt.savefig(results_dir+"/roc.png")
    plt.show()