评估和计算 Top-N 准确度：Top 1 和 Top 5

Posted 2023-03-12

【中文标题】评估和计算 Top-N 准确度：Top 1 和 Top 5

【英文标题】：Evaluation & Calculate Top-N Accuracy: Top 1 and Top 5

【发布时间】：2016-10-06 17:43:28

【问题描述】：

我遇到过几篇关于使用 Top-N 方法评估准确性的（机器学习分类问题）期刊论文。数据显示，在相同的训练、测试条件下，Top 1 准确率 = 42.5%，Top-5 准确率 = 72.5%。 我想知道如何计算top-1 和top-5 的百分比？

有人可以告诉我计算这个的例子和步骤吗？

谢谢

【问题讨论】：

@SalvadorDali 检查以下来自“rcpinto”的答案。也许你也可以从那里理解一些东西。感谢您的回复，下次我会澄清我的问题。

【参考方案1】：

准确率的补码是错误，top-1错误是分类器没有给出正确类最高概率分数的时间百分比。 前 5 个错误：- 分类器在前 5 个概率或猜测中不包括正确类别的时间百分比。

【参考方案2】：

Top-1 准确度是常规准确度：模型答案（概率最高的那个）必须完全是预期答案。

Top-5 准确度意味着您的模型 5 个最高概率答案中的任何必须与预期答案匹配。

例如，假设您正在使用神经网络将机器学习应用于对象识别。显示了一张猫的图片，这些是您的神经网络的输出：

老虎：0.4 狗：0.3 猫：0.1 猞猁：0.09 狮子：0.08 鸟：0.02 熊：0.01

使用 top-1 准确度，您将此输出视为错误，因为它预测了老虎。

使用前 5 位准确度，您将此输出视为正确，因为 cat 是前 5 位猜测之一。

【讨论】：

感谢您的回答。在您看来，Top-5 真的是一个很好的指标，还是一种夸大神经网络真实能力的方式？如果我是盲人，并让某人告诉我面前是什么动物，我会期待“它是一只猫”而不是“它是老虎、狗、猫、山猫或狮子”。

我认为 top-5 指标很有用，除其他原因外，因为一张图片可以有多个对象...

所以我们可以说top-5的准确率总是高于Top-1的准确率

更高或等于

@JonathonReinhart 可能有点晚了，但大多数大型模型都是在 ImageNet 数据集上训练的，包含 1000 个可能的类，因此实际上推断模型在 Top-5 的表现如何非常现实，因为它缩小了其他 995 个可能的类别。但是，如果您只有 10 个班级，那么 Top-5 就没有用处了。