模型评估PR|ROC|AUC

Posted 2021-01-13 zhaopac

这里主要讲的是对分类模型的评估。

1、准确率（Accuracy)

    准确率的定义是：【分类正确的样本】 / 【总样本个数】，其中分类正确的样本是不分正负样本的

    优点：简单粗暴

    缺点：当正负样本分布不均衡的情况（假设一种极端情况，正样本1个，负样本99个），此时即使一个比较差的模型（只会将所用的样本预测成负样本），那它也有99%的准确率。

             总结一下就是 当样本分布不均匀，该指标意义不大

    改进方案： 1、在不同样本分类下求它的准确率，然后取平均值

                    2、选取其他评价指标

2、PR曲线

    Precision（精准率）：【分类正确的正样本个数】/【被预测为正样本的个数】

    Recall（召回率）：【分类正确的正样本个数】/【真实中正样本的个数】

    Precision 与 Recall是一对既矛盾又统一的变量

    矛盾是指：如果想要高的 精准率，也就要求模型要非常强，强到 预测为正样本的样本 全部都是正确的，此时Precision=1，而

    统一是指：