推荐系统手把手带你学推荐系统 4 知识补充

Posted 2021-12-24 我是小白呀

【推荐系统】⚠️手把手带你学推荐系统 4⚠️ 知识补充

• 概述
• 推荐系统流程
• 数据收集
• AB 测试

概述

推荐系统 (Recommender System) 是一个信息过滤系统, 在很多领域都有广泛的使用. 推荐系统可以为用户提供个性化的产品, 挖掘用户的潜在需求. 从今天开始, 小白我就带大家来学习一下推荐系统方向的知识.

推荐系统流程

1. 召回: 协同过滤召回, 内容相似召回, 图算法召回, 热门召回, 新课召回

   • U2I: User to Item, 基于用户的直接行为, 进行推荐
   • I2I: Item to Item, 基于内容相似, 进行推荐
   • U2U2I: User to User to Item, 基于用户的协同过滤, 即推荐和你类似的人喜欢的东西
   • U2I2I: User to Item to Item, 基于物品的协同过滤, 即推荐和你的物品类似的物品

2. 排序: 机器学习, 二分类算法, LR, GBDT, DNN, Wide & DEEP

3. 调整: 去重, 已购过滤, 在线过滤, 热门补足, 分页提取, 合并内容信息

数据收集

• 用户数据:
  • 自然属性: 性别, 年龄, 学历, 职业, 收入水平, 消费水平
  • 统计属性: 最近 N 天最喜欢的物品列表, 标签, 坐着, 价格区间
• 物品数据:
  • 基本属性: 标题, 分类, 标签, 作者, 评分, 价格, 发布时间
  • 统计属性: 最近 N 天热度, 点击次数, 播放次数, 喜欢的人群 / 年龄 / 职业分布
• 行为数据:
  • 点击, 播放, 收藏, 关注, 评论, 分享, 搜索, 购买
• 上下文环境:
  • 时间, 地点, 天气, 节假日, 手机型号, 网络

数据处理:

• 数值类特征: 如年龄, 价格, 可以进行归一化处理, 以及分箱处理
• 文本类特征: 如标题, 关键词, 可以先分词提取关键词, 然后进行 one-hot / multi-hot 编码, 或者 tf-idf / word-embedding
• ID 类特征: 如播放 ID, 购买 ID, 可以进行 embedding 向量化

AB 测试

AB 测试是一种向产品的不同受众展示同一内容的 2 个或多个策略, 并比较哪个策略效果更好的方法.

AB 测试的作用:

• 降低新产品发布的风险
• 进行低风险的修改, 迭代更新策略
• 降低人工猜测, 直觉判断的不确定性