推荐系统_随记

Posted 2022-11-30 漠小浅

       一、个性化推荐的成功应用需要两个条件。第一是存在信息过载，因为如果用户可以很容易地从所有物品中找到喜欢的物品，就不需要个性化推荐了。第二是用户大部分时候没有特别明确的需求，因为用户如果有明确的需求，可以直接通过搜索引擎找到感兴趣的物品。

      二、同现矩阵可以看成是用户给出的物品与物品之间的相似程度，将用户的联合购买行为（认同行为）理解为两件物品的相似程度，而用户评价就是用户偏好，那么  相似性×用户偏好=潜在的用户偏好。同理，基于物品属性的近邻算法核心思想也是如此。

    三、最近在学习推荐系统，想问下，有没有在bat做过类似的工作的朋友。计算物品相似度是用什么来写的？是直接拿mapreduce或spark通过余弦或者同现矩阵的方式实现的吗？还是用mahout写的呢？坐等--------------------通过这个说明了同现矩阵属于计算相似度的一种。 https://www.zhihu.com/question/36758695

      四、随着Netflix Prize推荐比赛的成功举办，近年来隐语义模型(Latent Factor Model, LFM)受到越来越多的关注。隐语义模型最早在文本挖掘领域被提出，用于寻找文本的隐含语义，相关的模型常见的有潜在语义分析(Latent Semantic Analysis, LSA)、LDA(Latent Dirichlet Allocation)的主题模型(Topic Mdel),矩阵分解(Matrix Factorization)等等。其中矩阵分解技术是实现隐语义模型使用最为广泛的一种方法，其思想也正是来源于此，著名的推荐领域大神Yehuda Koren更是凭借矩阵分解模型勇夺Netflix Prize推荐比赛冠军，以矩阵分解为基础，Yehuda Koren在数据挖掘和机器学习相关的国际顶级会议(SIGIR,SIGKDD,RecSys等)发表了很多文章，将矩阵分解模型的优势发挥得淋漓尽致。实验结果表明，在个性化推荐中使用矩阵分解模型要明显优于传统的基于邻域的协同过滤(又称基于记忆的协同过滤)方法，如UserCF、ItemCF等，这也使得矩阵分解成为了目前个性化推荐研究领域中的主流模型。

          需要说明的是，协同过滤方法分为两大类，一类为上述基于领域（记忆）的方法，第二类为基于模型的方法，即隐语义模型，矩阵分解模型是隐语义模型最为成功的一种实现，不作特别说明的情况下，本文将隐语义模型和矩阵分解看作同一概念，User-Item矩阵和User-Item评分矩阵为同一概念。

         另外，奇异值分解(Singular Value Decomposition, SVD)，非负矩阵分解(Non-negative Matrix Factorization, NMF)，概率矩阵分解(Probability Matrix Factorization, PMF)等方法虽然也使用矩阵分解的思想，属于矩阵分解的范畴，但是其分解方法和本文有所不同，这些不是本文的讨论重点，我会在今后的博文中逐一进行讲解。http://baogege.info/2014/10/19/matrix-factorization-in-recommender-systems/

相似度算法：

1）同现相似度   

2）欧氏距离相似度

3）余弦相似度

4）秩相关系数相似度

5）曼哈顿距离相似度

6）对数似然相似度

常见的推荐系统算法：

         关联规则；

                   Apriori

                   FPGrowth

         协同过滤

                 基于邻域的方法

                       基于用户的协同过滤算法

                       基于物品的协同过滤算法

                 隐语义模型