推荐系统：怎样实现内容相似推荐

Posted 2023-04-11

参考技术A 很多产品想要加入推荐系统模块，最简单的就是做内容相似推荐，虽然技术简单但是效果却很好，对于增加用户粘性、提升用户留存有较多的效果，甚至很多产品后来加入了很多推荐模块之后，还是发现导流效果最好的依然是内容的相似推荐。

比如看完了一片《Python怎样读取mysql》之后，在相似推荐中看到了一片题目为《Python操作MySQL的效果优化》的文章，很自然的就像多深入了解一下，于是就点进去看一看，那么对于整个网站来说，就会降低跳出率，增加用户的留存，是一个很好的用户体验。

实现一个内容相似推荐的方案比较简单，大体上包含以下步骤：

1、获取内容数据，比如标题、关键字、分类、甚至全文本；

一般文档、数据等内容都存储于mysql，可以使用python/java等语言直接读取mysql导出到文件.txt格式，或者直接用shell的mysql -e sql > data.txt的方式导出。

一般情况下，全文本内容太散，不会作为候选字段，但是有些视频之类的实体，因为标题和简介文字太少，如果有详情全文本的话，也可以加入候选数据字段。

2、对内容数据做中文分词；

如果是python语言，可以使用“结巴分词”，地址为： https://github.com/fxsjy/jieba

或者可以直接使用百度云的中文分词，百度的NLP自然语言处理技术还是很厉害的。

3、提取内容数据的关键词；

当分词之后，分词结果中包含很多“的”、“也”等无意义的词语，这些词语不能称之为关键词，一般会通过TF/IDF的方法计算每个词语的权重，将一个文档的所有词语的TF/IDF权重倒序排列，取TOPN个作为关键词；

如果使用的是jieba分词，那么直接就自带了提取关键词的支持；当然也可以自己计算，TF就是计算一篇文章中每个词语出现的次数、IDF就是这个词语在所有文章中出现的次数，TF除以IDF就是权重值；

4、将关键词映射成数字向量；

我们最终的目标是计算文档之间的相似度，要计算相似度那就需要把内容映射成向量，第一步就是先把每个词语映射成向量，映射的方式有几种：

使用one hot方法映射成向量

自己训练word2vec密度向量；

使用业界的训练好的word2vec向量

一般情况下，自己的数据集比较小，效果会比业界的word2vec效果差一些，比如这里推荐腾讯开源的200维度全网word2vec向量，地址在： https://ai.tencent.com/ailab/nlp/embedding.html

5、计算文档粒度的数字向量；

得到每个词语的向量之后，通过加权平均的方式可以计算整个文档的向量；

权重可以使用每个词语的频率次数归一化，或者直接平均即可；

6、计算文档之间的相似度；

使用cosin算法就能够计算文档向量之间的相似度；

cosin算法很简单，java、python自己实现就可以，也可用https://scikit-learn.org或者http://surpriselib.com/中的相似度计算模块直接调用实现。

计算完之后，对于每个文档，将它跟每个文档的相似度做倒序排列，比如TOP 30个作为推荐的结果集合。

7、将文档的相似度关系存入mysql/redis等缓存；

第6步骤会得到一个这样的结果：(文档ID、相似文档ID列表)，将这样的数据直接存入mysql或者redis，key就是文档ID，value是相似文档ID列表即可。

8、当页面展示一个内容的时候，提取相似推荐进行展示；

当用户访问一个页面的时候，后端服务python/java从缓存redis或者mysql中根据展示的页面的文档ID，提取相似ID列表；

因为前几步骤是提前计算好的列表，这里也可能做一些过滤已下线的事情，然后根据ID提取对应的标题、简介等信息，组装成相似推荐列表返回给前端即可；

总结

以上就是离线计算相似推荐的步骤，其实还可以用在线的方式进行，把这个问题按照搜索的架构实现即可，新来一个文档就分词、计算关键词列表存储，然后每次访问的时候根据关键词列表查询相同关键词列表的文档也可以实现。

当相似内容推荐上线后，就能够不断积累一些用户点击、查看文档的行为数据，基于行为数据就能训练协同过滤的模型，实现内容不相似但是行为相似的协同过滤推荐。

智能推荐算法学习总括

智能推荐算法总的来说分为两种：基于内容的推荐算法和协同过滤推荐算法。

基于内容的推荐算法：

根据内容的相似度（静态的东西）进行推荐，内容不好提取的可以采取贴标签的形式来区分计算内容的相似程度。然后根据用户的喜好设置，关注等进行相似内容推荐。

 

协同过滤推荐算法：

根据动态信息来进行推荐，即推荐的过程是自动的，推荐结果的产生是系统从用户的购买行为或浏览记录等隐式信息拿到的，无需用户通过填表格等方式来明确自己的喜好。因为这些数据都是要读到内存中进行运算的，所以又叫基于内存的协同过滤（Memory-based Collaborative Filtering）,另一种协同过滤算法则是基于模型的协同过滤(Model-based Collaborative Filtering)；m个物品，m个用户的数据，只有部分用户和部分数据之间是有评分数据的，其它部分评分是空白，此时我们要用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。对于这个问题，用机器学习的思想来建模解决，主流的方法可以分为：用关联算法，聚类算法，分类算法，回归算法，矩阵分解，神经网络,图模型以及隐语义模型来解决。

（https://www.cnblogs.com/chenliyang/p/6548306.html）

而基于内存的协同过滤又有两种：

1. 基于user的协同过滤(用户相似度):通过相似用户的喜好来推荐

2. 基于item的协同过滤(内容相似度):通过用户对项目的不同评分推荐可能让用户打高评分的项目，是项目之间的相似度。

 

任何一种单一推荐算法都有缺点，我们在实际项目中，可以采用混合推荐算法，融合以上方法，通过串联并联等融合，构造出自己的一套推荐体系。