聚合精度和召回率的实际重要性是啥？

Posted 2023-03-12

【中文标题】聚合精度和召回率的实际重要性是啥？

【英文标题】：What is the practical importance of the aggregated precision and recall?聚合精度和召回率的实际重要性是什么？

【发布时间】：2015-09-02 14:19:11

【问题描述】：

我正在为推荐系统研究 movielens 100K 电影数据。 我将数据分为测试和训练，并计算精度和召回率。在测试中，随机选择了超过 10,000 个用户。 我能够找到单个用户的准确率和召回率。

我想知道： 聚合精度和召回率有什么实际意义吗？

【问题讨论】：

在预测的情况下，我们有 MAE 或 RMSE 来考虑所有预测值，我们可以给出聚合结果。像这样，我想知道我们可以汇总精度和召回率吗？

我不是 100% 的问题是什么，但是您可以通过 F 度量结合精度和召回率的一种方法：(2PR) /(P+R)

这是在推荐系统的上下文中。对于个人用户，我推荐 10 部电影。对于这个单个用户，在这 10 个中，4 到 5 个（假设平均为 4 个）是好的。对于其他一些用户来说，3 是好的。这些数值具有重要性——精度。我的问题是，如果我汇总所有这些值（来自所有用户的精确度），我可以吹嘘我的推荐者是 x%（汇总百分比）精确吗？或者这个聚合值没有重要性。

嗯，我可以给你一个有根据的猜测，但我认为你最好在 stats.stackexchange.com 上问同样的问题

【参考方案1】：

您将看到学术论文中报告的 Precision/Recall 结果是汇总的，而不是 10,000 个不同的 P/R 结果。在这方面，它让读者非常普遍了解 RS 性能。通常，您会看到以曲线表示的 Precision/Recall（如此处所示：http://www.cs.washington.edu/ai/mln/images/image001.png）。您往往会看到，在 Recall = 1 时，Precision 较低，而在 Precision = 1 时，Recall 较低。您可以根据 10,000 个结果在 Excel 或 Google 表格中轻松创建其中一条曲线。

正如 cmets F-measure 中提到的，是一种将 P/R 结合起来生成平均值的方法，尽管在“吹嘘”它之前，您需要了解 F 度量的局限性。根据您的应用领域，为精度或召回率证明某种加权的合理性并不少见，因此请注意基本的 F 度量是平衡的（精度和召回率都被视为同等重要）。

Receiver Operator Characteristic (https://en.wikipedia.org/wiki/Receiver_operating_characteristic) 也常用于侧边 P/R 曲线和推荐系统评估中的 f-measure。如果您正在寻找额外的信用，那么我建议您使用多种方法来评估 RS 性能，例如 P/R 曲线、F 度量、AUC 和 ROC。