从分类精度计算曲线下面积

Posted 2023-03-13

【中文标题】从分类精度计算曲线下面积

【英文标题】：Calculating the area under curve from classification accuracy

【发布时间】：2015-04-16 23:08:41

【问题描述】：

我有一个任务：

使用朴素贝叶斯，我们在一些具有 2 个类别的数据上构建了一个模型（模型返回 2 个概率 - 一个用于正类，一个用于负类）。我们计算了 ROC 曲线下面积 AUC = 0.8 和分类准确度 CA = 0.6，阈值设置为 0.5（如果某些示例的正类概率高于 0.5，我们预测该示例的正类，否则为负类）。然后我们发现，如果我们将阈值设置为 0.3，分类准确率变为 CA = 0.7。第二个阈值的 AUC 是多少？如果结果取决于初始数据，请提出所有可能性。

如何计算？

【参考方案1】：

不确定这是否可以作为答案，但 ROC AUC 是灵敏度和特异性在所有分类阈值上的积分。因此，您无法计算特定阈值的 AUC。

【讨论】：

这就是我无法回答这个问题的原因，你如何用一个阈值构建 ROC ......我想我应该回答新的 AUC 是更高还是更低曲线下面积。顺便说一句，这是本课程旧考试的问题，所以我怀疑正确答案是“无法确定”。

在构建 ROC 曲线时，会使用分类中的所有阈值。如果你用单一阈值构建 ROC 曲线，那么你做错了。

我知道。 “你如何用一个阈值构建 ROC……”是一个反问：)