如何评估基于内容的推荐系统

Posted 2023-02-16

【中文标题】如何评估基于内容的推荐系统

【英文标题】：How to evaluate a Content-based Recommender System

【发布时间】：2011-09-04 07:14:28

【问题描述】：

我正在构建一个基于内容的电影推荐系统。很简单，只要让用户输入一个电影的名字，系统就会找到具有最相似特征的电影。

在计算相似度并按降序排序后，找到相似度最高的5个对应的电影并返回给用户。

到目前为止，当我想评估系统的准确性时，一切都运行良好。我在 Google 上找到的一些公式只是根据评分值评估准确性（比较预测评分和实际评分，如 RMSE）。我没有将相似度分数更改为评级（从 1 到 5），所以我无法应用任何公式。

您能否建议任何将相似度得分转换为预测评分的方法，以便我可以应用 RMSE？或者有没有解决这个问题的想法？

【问题讨论】：

这个问题不是更适合Cross Validated吗？

【参考方案1】：

你有什么基本事实吗？例如，您是否有关于用户过去喜欢/看过/购买的电影的信息？它不一定是评级，但为了评估推荐，您需要了解有关用户偏好的一些信息。

如果你这样做了，那么除了 RMSE 之外，还有其他方法可以测量准确度。当我们预测评级时使用 RMSE（正如您所说的是真实评级和预测之间的误差），但在您的情况下，您正在生成前 N 个推荐。在这种情况下，您可以使用精确率和召回率来评估您的建议。它们在信息检索应用程序中非常有用（参见Wikipedia），它们在推荐系统中也很常见。您还可以计算 F1 指标，它是精度和召回率的调和平均值。您会发现它们是非常简单的公式，并且很容易实现。

Guy Shani 的“评估推荐系统”是一篇关于如何评估推荐系统的非常好的论文，它将让您深入了解这一切。你可以找到论文here。