评估指标：ROC，AUC，PrecisionRecallF1-score

Posted 2021-01-02 tectal

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了评估指标：ROC，AUC，PrecisionRecallF1-score相关的知识，希望对你有一定的参考价值。

一、ROC，AUC

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。

技术分享图片

ROC曲线一般的横轴是FPR，纵轴是FPR。AUC为曲线下面的面积，作为评估指标，AUC值越大，说明模型越好。如下图：

技术分享图片

Terminology and derivations
from a confusion matrix
true positive (TP) eqv. with hit true negative (TN) eqv. with correct rejection false positive (FP) eqv. with false alarm, Type I error false negative (FN) eqv. with miss, Type II error sensitivity or true positive rate (TPR) eqv. with hit rate, recall $技术分享图片$ specificity (SPC) or true negative rate (TNR) $技术分享图片$ precision or positive predictive value (PPV) $技术分享图片$ negative predictive value (NPV) $技术分享图片$ fall-out or false positive rate (FPR) $技术分享图片$ false discovery rate (FDR) $技术分享图片$ miss rate or false negative rate (FNR) $技术分享图片$ accuracy (ACC) $技术分享图片$ F1 score is the harmonic mean of precision and sensitivity $技术分享图片$ Matthews correlation coefficient (MCC) $技术分享图片$ $Informedness = Sensitivity + Specificity - 1 Markedness = Precision + NPV - 1$