大数据开发推荐系统之架构原理

Posted 数据信息化

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据开发推荐系统之架构原理相关的知识,希望对你有一定的参考价值。



推荐系统

之架构原理(一)

Architecture principle of recommendation system

简介

本文将介绍什么是推荐系统以及何如构建推荐系统

01

推荐系统

■ 什么是推荐系统

推荐系统可以把那些最终会在用户(User)和物品(Item)之间产生的连接提前找出来。


例如:

  • 社交产品-脸书

从已经建立社交关系的用户身上去推测你还可能对哪些人感兴趣,本质上就是提前把哪些可能的用户连接找出来,然后再按照用户分别呈现在每一个人面前。


  • 今日头条

只有当用户不断点进源源不断的内容物品中,每一次点击,就是一个连接,每一次阅读也是一个连接,不同层次不同重要性的连接在推荐系统的帮助下不断建立,所主要依据的就是那些已经存在的连接,即:用户过去都点击阅读了哪些内容。


  • 电商平台

用户刚买过什么,常买什么,正在浏览什么,这些都是用户和物品之间已经存在的连接,用这些连接去预测还会买什么,还会看什么也是推荐系统。


02

推荐系统分类

【大数据开发】推荐系统之架构原理(一)

03

推荐系统架构

【大数据开发】推荐系统之架构原理(一)

04

推荐系统基于内容推荐

■ 概念理解

    基于内容的推荐是在推荐引擎出现之初应用最为广泛的推荐机制,它的核心思想是根据推荐物品或内容的元数据,发现物品或者内容的相关性,然后基于用户以往的喜好记录,推荐给用户相似的物品。


■ 基于内容推荐机制的基本原理

    下图中给出了基于内容推荐的一个典型的例子:电影推荐系统。

    首先我们需要对电影的元数据有一个建模,这里只简的描述了一下电影的类型;然后通过电影的元数据发现电影间的相似度,因为类型都是“爱情,浪漫”电影A和C被认为是相似的电影(当然,只根据类型是不够的,要得到更好的推荐,我们还可以考虑电影的导演,演员等等);最后实现推荐,对于用户A,他喜欢看电影A,那么系统就可以给他推荐类似的电影C。

【大数据开发】推荐系统之架构原理(一)


■ 基于内容推荐存在的几个缺点

    这种基于内容的推荐机制的好处在于它能很好的建模用户的口味,能提供更加精确的推荐。但它也存在以下几个问题:

  1. 某些物品的特征提取比较难,例如:图像、音乐、电影,如果提供这些物品的人没有提供元数据(例如风格、演员、导演、编剧等等),自动提取特征比较不容易。

  2. 过于专门化。永远不会推荐和用户曾经喜欢的物品不相干的物品,完全没有利用其他用户的喜好来提高对此用户的推荐质量。

  3. 对于新用户有冷启动的问题。刚出现的用户的用户画像为空,无法做出推荐。


■ 如何处理冷启动

    冷启动在推荐系统中非常常见。在基于内容的推荐算法中,一旦一个新用户来了,由于他还没有购买任何的物品,所以无法给他推荐任何物品的。

  1. 推荐目前热度最高的商品

  2. 让用户自己标记一下自己喜欢的商品类型(APP新用户)


■ 基于内容推荐的举例

    在爱奇艺查看了战争类型的电影,系统就会给我推荐类似的战争电影。

【大数据开发】推荐系统之架构原理(一)


■ 基于内容推荐的几个优势

    基于内容的推荐一般是推荐系统的起步阶段,而且会持续存在,它的重要性不可取代。因为:

  1. 为某一用户做推荐的时候不需要使用其他用户的数据

  2. 产品冷启动阶段,新的物品要被推荐出去,首选内容推荐

  3. 可解释性好,产品的特征决定了推荐值


■ 基于内容推荐的应用场景

    基于内容推荐的方法特别适用于文本领域,比如新闻的推荐等等。核心在于把商品描述以及内容更好的利用起来。


■ 基于内容推荐的架构图


以上是关于大数据开发推荐系统之架构原理的主要内容,如果未能解决你的问题,请参考以下文章

推荐系统之标签体系

大数据开发Elasticsearch推荐系统

大数据技术Hadoop+SparkSpark架构原理优势生态系统等讲解(图文解释)

大数据技术之Hadoop(入门)概述运行环境搭建运行模式

大数据技术之Hadoop(入门)概述运行环境搭建运行模式

如何架构大数据系统hadoop