推荐系统系列2——评价指标
Posted 行思知识工坊
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了推荐系统系列2——评价指标相关的知识，希望对你有一定的参考价值。
昨天对推荐系统进行了简单的介绍，今天说一下如何对推荐系统进行评价，用那些评测指标来进行量化评价。
用户满意度：推荐系统是面对用户的，最重要的指标自然是用户满意度，不过这个指标获得的方式有两个，一个是调查问卷，直接询问用户；一个是在推荐页面增加一个反馈界面，例如赞或者踩。
预测准确度：准确度反映了推荐系统预测用户行为的能力，多用在评分系统中，使用RMSE（均方根误差）和MAE（平均绝对误差），误差是指预测值和实际值之间的差值，RMSE是误差的平方和均值再开方，MAE是误差绝对值和均值，具体公式如下图：
如果是TopN推荐，即向用户推荐一个列表，那么就只能通过对测试集和训练集的推荐列表进行召回率和准确率的计算，设A为训练集推荐列表，B为用户在测试集上的行为列表，C为A和B的交集（在A和B中都存在的行为），召回率为=C/B，准确率=C/A
覆盖率：描述一个推荐系统对物品长尾的发掘能力。互联网经济中如何发挥发挥长尾效应是一个重要课题，长尾效应也是互联网经济相较于传统经济模式最大的优势。覆盖率最简单的公式为：设A为推荐系统所有推荐列表的并集，I是所有的商品，那么覆盖率=A/I。如果一个推荐系统只能推荐全部商品中的一小部分，那么这个推荐系统的覆盖率就很低。
除了以上3个主要指标之外，还有多样性（尽可能多的覆盖用户绝对多数兴趣点）、新颖性（给用户推荐那些他们之前没有听说过的物品）、惊喜度（推荐的物品和用户历史行为不相关，但用户喜欢）、信任度（用户对推荐系统的信任程度）等指标，这类指标很多定义比较模糊，这里不再详谈，感兴趣的可以参考《推荐系统实践》这本书。
以上是关于推荐系统系列2——评价指标的主要内容，如果未能解决你的问题，请参考以下文章