个性化推荐系统推荐算法

Posted 2021-11-23 ZSYL

推荐算法

• 1. 推荐模型构建流程
• 2. 最经典的推荐算法：协同过滤推荐算法（Collaborative Filtering）
• 3. 相似度计算(Similarity Calculation)
• 4. 协同过滤推荐算法代码实现
• 5. 使用协同过滤推荐算法对用户进行评分预测
• 6. 基于模型的方法

• 推荐模型构建流程
• 推荐算法概述
• 基于协同过滤的推荐算法
• 协同过滤实现

1. 推荐模型构建流程

Data(数据)->Features(特征)->ML Algorithm(机器学习算法)->Prediction Output(预测输出)

• 数据清洗/数据处理

• 数据来源
  • 显性数据
    • Rating 打分
    • Comments 评论/评价
  • 隐形数据
    • Order history 历史订单
    • Cart events 加购物车
    • Page views 页面浏览
    • Click-thru 点击
    • Search log 搜索记录
• 数据量/数据能否满足要求
• 特征工程

• 从数据中筛选特征
  • 一个给定的商品，可能被拥有类似品味或需求的用户购买
  • 使用用户行为数据描述商品

• 用数据表示特征

  • 将所有用户行为合并在一起 ，形成一个user-item 矩阵

• 选择合适的算法

• 产生推荐结果

2. 最经典的推荐算法：协同过滤推荐算法（Collaborative Filtering）

算法思想：物以类聚，人以群分

基本的协同过滤推荐算法基于以下假设：

• “跟你喜好相似的人喜欢的东西你也很有可能喜欢” ：基于用户的协同过滤推荐（User-based CF）
• “跟你喜欢的东西相似的东西你也很有可能喜欢 ”：基于物品的协同过滤推荐（Item-based CF）

实现协同过滤推荐有以下几个步骤：

1. 找出最相似的人或物品：TOP-N相似的人或物品

   通过计算两两的相似度来进行排序，即可找出TOP-N相似的人或物品

2. 根据相似的人或物品产生推荐结果

   利用TOP-N结果生成初始推荐结果，然后过滤掉用户已经有过记录的物品或明确表示不感兴趣的物品

以下是一个简单的示例，数据集相当于一个用户对物品的购买记录表：打勾表示用户对物品的有购买记录

• 关于相似度计算这里先用一个简单的思想：如有两个同学X和Y，X同学爱好[足球、篮球、乒乓球]，Y同学爱好[网球、足球、篮球、羽毛球]，可见他们的共同爱好有2个，那么他们的相似度可以用：2/3 * 2/4 = 1/3 ≈ 0.33 来表示。

  User-Based CF

Item-Based CF

通过前面两个demo，相信大家应该已经对协同过滤推荐算法的设计与实现有了比较清晰的认识。

3. 相似度计算(Similarity Calculation)

• 相似度的计算方法

  • 数据分类
    • 实数值(物品评分情况)
    • 布尔值(用户的行为 是否点击 是否收藏)
  • 欧氏距离, 是一个欧式空间下度量距离的方法. 两个物体, 都在同一个空间下表示为两个点, 假如叫做p,q, 分别都是n个坐标, 那么欧式距离就是衡量这两个点之间的距离. 欧氏距离不适用于布尔向量之间

​ 欧氏距离的值是一个非负数, 最大值正无穷, 通常计算相似度的结果希望是[-1,1]或[0,1]之间,一般可以使用

​

• 杰卡德相似度&余弦相似度&皮尔逊相关系数

  • 余弦相似度
    • 度量的是两个向量之间的夹角, 用夹角的余弦值来度量相似的情况
    • 两个向量的夹角为0是,余弦值为1, 当夹角为90度是余弦值为0,为180度是余弦值为-1
    • 余弦相似度在度量文本相似度, 用户相似度 物品相似度的时候较为常用
    • 余弦相似度的特点, 与向量长度无关,余弦相似度计算要对向量长度归一化, 两个向量只要方向一致,无论程度强弱, 都可以视为’相似’
  • 皮尔逊相关系数Pearson
    • 实际上也是一种余弦相似度, 不过先对向量做了中心化, 向量a b 各自减去向量的均值后, 再计算余弦相似度
    • 皮尔逊相似度计算结果在-1,1之间 -1表示负相关, 1表示正相关
    • 度量两个变量是不是同增同减
    • 皮尔逊相关系数度量的是两个变量的变化趋势是否一致, 不适合计算布尔值向量之间的相关度
  • 杰卡德相似度 Jaccard
    • 两个集合的交集元素个数在并集中所占的比例, 非常适用于布尔向量表示
    • 分子是两个布尔向量做点积计算, 得到的就是交集元素的个数
    • 分母是两个布尔向量做或运算, 再求元素和
  • 余弦相似度适合用户评分数据(实数值), 杰卡德相似度适用于隐式反馈数据(0,1布尔值)(是否收藏,是否点击,是否加购物车)

• 余弦相似度

• 皮尔逊相关系数

• 计算出用户1和其它用户之间的相似度

• 按照相似度大小排序, K近邻 如K取4:

• 取出近邻用户的购物清单

• 去除用户1已经购买过的商品

• 在剩余的物品中根据评分排序

• 物品相似度计算
  • 余弦相似度对绝对值大小不敏感带来的问题
    • 用户A对两部电影评分分别是1分和2分, 用户B对同样这两部电影进行评分是4分,5分 用余弦相似度计算,两个用户的相似度达到0.98
    • 可以采用改进的余弦相似度, 先计算向量每个维度上的均值, 然后每个向量在各个维度上都减去均值后,在计算余弦相似度, 用调整的余弦相似度计算得到的相似度是-0.1

• 物品相似度计算案例

• 找出物品1的相似商品

• 选择最近似的物品

• 基于用户与物品的协同过滤比较

4. 协同过滤推荐算法代码实现

• 构建数据集：

  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 构建数据集
  datasets = [
      ["buy",None,"buy","buy",None],
      ["buy",None,None,"buy","buy"],
      ["buy",None,"buy",None,None],
      [None,"buy",None,"buy","buy"],
      ["buy","buy","buy",None,"buy"],
  ]
  

• 计算时我们数据通常都需要对数据进行处理，或者编码，目的是为了便于我们对数据进行运算处理，比如这里是比较简单的情形，我们用1、0分别来表示用户的是否购买过该物品，则我们的数据集其实应该是这样的：

  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 用户购买记录数据集
  datasets = [
      [1,0,1,1,0],
      [1,0,0,1,1],
      [1,0,1,0,0],
      [0,1,0,1,1],
      [1,1,1,0,1],
  ]
  import pandas as pd
  
  df = pd.DataFrame(datasets,
                    columns=items,
                    index=users)
  print(df)
  

• 有了数据集，接下来我们就可以进行相似度的计算，不过对于相似度的计算其实是有很多专门的相似度计算方法的，比如余弦相似度、皮尔逊相关系数、杰卡德相似度等等。这里我们选择使用杰卡德相似系数[0,1]

  # 直接计算某两项的杰卡德相似系数
  from sklearn.metrics import jaccard_similarity_score
  # 计算Item A 和Item B的相似度
  print(jaccard_similarity_score(df["Item A"], df["Item B"]))
  
  # 计算所有的数据两两的杰卡德相似系数
  # from sklearn.metrics.pairwise import pairwise_distances
  from sklearn.metrics import jaccard_score
  # 计算用户间相似度
  user_similar = 1 - pairwise_distances(df, metric="jaccard")
  user_similar = pd.DataFrame(user_similar, columns=users, index=users)
  print("用户之间的两两相似度：")
  print(user_similar)
  
  # 计算物品间相似度
  item_similar = 1 - pairwise_distances(df.T, metric="jaccard")
  item_similar = pd.DataFrame(item_similar, columns=items, index=items)
  print("物品之间的两两相似度：")
  print(item_similar)
  

  有了两两的相似度，接下来就可以筛选TOP-N相似结果，并进行推荐了

• User-Based CF

  import pandas as pd
  import numpy as np
  from pprint import pprint
  
  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 用户购买记录数据集
  datasets = [
      [1,0,1,1,0],
      [1,0,0,1,1],
      [1,0,1,0,0],
      [0,1,0,1,1],
      [1,1,1,0,1],
  ]
  
  df = pd.DataFrame(datasets,
                    columns=items,
                    index=users)
  
  # 计算所有的数据两两的杰卡德相似系数
  from sklearn.metrics.pairwise import pairwise_distances
  # 计算用户间相似度
  user_similar = 1 - pairwise_distances(df.values, metric="jaccard")
  user_similar = pd.DataFrame(user_similar, columns=users, index=users)
  print("用户之间的两两相似度：")
  print(user_similar)
  
  topN_users = {}
  # 遍历每一行数据
  for i in user_similar.index:
      # 取出每一列数据，并删除自身，然后排序数据
      _df = user_similar.loc[i].drop([i])
      _df_sorted = _df.sort_values(ascending=False)
  
      top2 = list(_df_sorted.index[:2])
      topN_users[i] = top2
  
  print("Top2相似用户：")
  pprint(topN_users)
  
  rs_results = {}
  # 构建推荐结果
  for user, sim_users in topN_users.items():
      rs_result = set()    # 存储推荐结果
      for sim_user in sim_users:
          # 构建初始的推荐结果
          rs_result = rs_result.union(set(df.ix[sim_user].replace(0,np.nan).dropna().index))
      # 过滤掉已经购买过的物品
      rs_result -= set(df.ix[user].replace(0,np.nan).dropna().index)
      rs_results[user] = rs_result
  print("最终推荐结果：")
  pprint(rs_results)
  

• Item-Based CF

  import pandas as pd
  import numpy as np
  from pprint import pprint
  
  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 用户购买记录数据集
  datasets = [
      [1,0,1,1,0],
      [1,0,0,1,1],
      [1,0,1,0,0],
      [0,1,0,1,1],
      [1,1,1,0,1],
  ]
  
  df = pd.DataFrame(datasets,
                    columns=items,
                    index=users)
  
  # 计算所有的数据两两的杰卡德相似系数
  from sklearn.metrics.pairwise import pairwise_distances
  # 计算物品间相似度
  item_similar = 1 - pairwise_distances(df.values.T, metric="jaccard")
  item_similar = pd.DataFrame(item_similar, columns=items, index=items)
  print("物品之间的两两相似度：")
  print(item_similar)
  
  topN_items = {}
  # 遍历每一行数据
  for i in item_similar.index:
      # 取出每一列数据，并删除自身，然后排序数据
      _df = item_similar.loc[i].drop([i])
      _df_sorted = _df.sort_values(ascending=False)
  
      top2 = list(_df_sorted.index[:2])
      topN_items[i] = top2
  
  print("Top2相似物品：")
  print(topN_items)
  
  rs_results = {}
  # 构建推荐结果
  for user in df.index:    # 遍历所有用户
      rs_result = set()
      for item in df.loc[user].replace(0,np.nan).dropna().index:   # 取出每个用户当前已购物品列表
          # 根据每个物品找出最相似的TOP-N物品，构建初始推荐结果
          rs_result = rs_result.union(topN_items[item])
      # 过滤掉用户已购的物品
      rs_result -= set(df.loc[user].replace(0,np.nan).dropna().index)
      # 添加到结果中
      rs_results[user] = rs_result
  
  print("最终推荐结果：")
  print(rs_results)
  

关于协同过滤推荐算法使用的数据集

在前面的demo中，我们只是使用用户对物品的一个购买记录，类似也可以是比如浏览点击记录、收听记录等等。这样数据我们预测的结果其实相当于是在预测用户是否对某物品感兴趣，对于喜好程度不能很好的预测。

因此在协同过滤推荐算法中其实会更多的利用用户对物品的“评分”数据来进行预测，通过评分数据集，我们可以预测用户对于他没有评分过的物品的评分。其实现原理和思想和都是一样的，只是使用的数据集是用户-物品的评分数据。

关于用户-物品评分矩阵

用户-物品的评分矩阵，根据评分矩阵的稀疏程度会有不同的解决方案

• 稠密评分矩阵

• 稀疏评分矩阵

这里先介绍稠密评分矩阵的处理，稀疏矩阵的处理相对会复杂一些，我们到后面再来介绍。

5. 使用协同过滤推荐算法对用户进行评分预测

• 数据集：

目的：预测用户1对物品E的评分

• 构建数据集：注意这里构建评分数据时，对于缺失的部分我们需要保留为None，如果设置为0那么会被当作评分值为0去对待

  users = ["User1", "User2", "User3", "User4", "User5"]
  items = ["Item A", "Item B", "Item C", "Item D", "Item E"]
  # 用户购买记录数据集
  datasets = [
      [5,3,4,4,None],
      [3,1,2,3,3],
      [4,3,4,3,5],
      [3,3,1,5,4],
      [1,5,5,2,1],
  ]
  

• 计算相似度：对于评分数据这里我们采用皮尔逊相关系数[-1,1]来计算，-1表示强负相关，+1表示强正相关

  pandas中corr方法可直接用于计算皮尔逊相关系数

  df = pd.DataFrame(datasets,
                    columns=items,
                    index=users)
  
  print("用户之间的两两相似度：")
  # 直接计算皮尔逊相关系数
  # 默认是按列进行计算，因此如果计算用户间的相似度，当前需要进行转置
  user_similar = df.T.corr()
  print(user_similar.round(4))
  
  print("物品之间的两两相似度：")
  item_similar = df.corr()
  print(item_similar.round(4))
  

  # 运行结果：
  用户之间的两两相似度：
          User1   User2   User3   User4   User5
  User1  1.0000  0.8528  0.7071  0.0000 -0.7921
  User2  0.8528  1.0000  0.4677  0.4900 -0.9001
  User3  0.7071  0.4677  1.0000 -0.1612 -0.4666
  User4  0.0000  0.4900 -0.1612  1.0000 -0.6415
  User5 -0.7921 -0.9001 -0.4666 -0.6415  1.0000
  物品之间的两两相似度：
          Item A  Item B  Item C  Item D  Item E
  Item A  1.0000 -0.4767 -0.1231  0.5322  0.9695
  Item B -0.4767  1.0000  0.6455 -0.3101 -0.4781
  Item C -0.1231  0.6455  1.0000 -0.7206 -0.4276
  Item D  0.5322 -0.3101 -0.7206  1.0000  0.5817
  Item E  0.9695 -0.4781 -0.4276  0.5817  1.0000
  

  可以看到与用户1最相似的是用户2和用户3；与物品A最相似的物品分别是物品E和物品D。

  注意： 我们在预测评分时，往往是通过与其有正相关的用户或物品进行预测，如果不存在正相关的情况，那么将无法做出预测。这一点尤其是在稀疏评分矩阵中尤为常见，因为稀疏评分矩阵中很难得出正相关系数。

• 评分预测：

  User-Based CF 评分预测：使用用户间的相似度进行预测

  关于评分预测的方法也有比较多的方案，下面介绍一种效果比较好的方案，该方案考虑了用户本身的评分评分以及近邻用户的加权平均相似度打分来进行预测：
  $$pred(u,i)={\hat{r}}_{ui}=\frac{{\sum }_{v\in U}sim(u,v)\ast r_{vi}}{{\sum }_{v\in U}|sim(u,v)|}$$
  我们要预测用户1对物品E的评分，那么可以根据与用户1最近邻的用户2和用户3进行预测，计算如下：

  ​
  $$pred(u_1以上是关于个性化推荐系统推荐算法的主要内容，如果未能解决你的问题，请参考以下文章$$

  Python+Django+Mysql个性化二手车推荐系统 汽车推荐系统 基于用户项目内容的协同过滤推荐算法 WebCarCFRSPython python实现协同过滤推荐算法实现源代码下载

  Python+Django+Mysql个性化购物商城推荐系统 电子商务推荐系 基于用户项目内容的协同过滤推荐算法 WebShopRSMPython python实现协同过滤推荐算法实现源代码下载

  推荐算法简介

  推荐算法之基于用户的协同过滤

  大数据推荐系统算法代码全接触（企业内训，现场实录，机器学习算法+Spark实现）

  大数据推荐系统算法代码全接触（企业内训，现场实录，机器学习算法+Spark实现）