模型评价指标

Posted yangjiez

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了模型评价指标相关的知识,希望对你有一定的参考价值。

技术图片

回归评估

  1. 平均绝对误差(Mean Absolute Error, MAE), 又被称为L1范数损失

    技术图片

    1. 平均平方误差(Mean Squared Error, MSE ,又被称为l2范数损失

      技术图片

分类平评估指标

二维混淆矩阵

预测 结果
真实类别 正例 反例
正例 真正例(True Positive) TP 假反例(False Negative) FN
反例 假正例(False Positive) FP 真反例(True Negative)TN

(1) 准确率 表示正确分类的测试实例的个数占测试实例总数的比例,计算公式为

Accuracy = TP + TN / TP + FP + FN + TN

在正负样本不平衡的情况下,准确率这个评价指标有很大的缺陷。比如在互联昂广告里面,点击的数量很少,一般只有千分之几,如果用accuracy,即使全部预测成负类(不点击),accuracy也有99%以上,没有意义

(2)召回率 也叫查全率, 表示正确分类的正例个数占实际正例个数的比例

Reccall = TP/(TP + FN)

(3) 精确度 也叫查准率,表示正确分类的正例个数占分类为正例的实例个数的比例,计算公式为

Precision = TP/(TP + FP)

(4) F1-Score 是基于召回率与精确率的调和平均,即将召回率和精确率综合起来评价,计算公式为

**F1-Score = 2* Recall*Precision/(Recaall + Prcision)**

ROC AUC

技术图片

ROC曲线横坐标是FPR,纵坐标是TPR

FPR = FP/(FP + TN)

TPR = TP/(TP + FN)

ROC曲线越接近左上角,该分类器的性能越好

AUC 被定义为ROC曲线下面的面积,显然这个面积的数值不会大于1,AUC的面积越大越好。如果AUC值大,会有更多的正样本被更大概率准确预测,负样本被预测为正样本的概率也会越小。

以上是关于模型评价指标的主要内容,如果未能解决你的问题,请参考以下文章

详解目标检测模型的评价指标及代码实现

模型中评价指标过多会怎么样

机器学习中的评价指标

R语言临床预测模型的评价指标与验证指标实战:C-index指标计算

聚类模型性能评价指标

回归任务中的评价指标之MSE,RMSE,MAE,R-Squared,MAPE