混合推荐系统介绍
Posted 小小挖掘机
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了混合推荐系统介绍相关的知识,希望对你有一定的参考价值。
作者丨gongyouliu
编辑丨zandy
这是作者的第24篇文章,约1.2w字,阅读需60分钟
混合推荐系统的思路跟上面的介绍如出一辙。古话说”三个臭皮匠顶个诸葛亮“,我想用这句话来形容混合推荐算法是非常恰当的。混合推荐算法就是利用两种或者两种以上推荐算法来配合,克服单个算法存在的问题,期望更好地提升推荐的效果。
表1:主流推荐算法的问题与优势
图1:单体的混合推荐范式
(1) 特征组合(Feature Combination)混合
(2) 特征增强(Feature Augmentation)混合
并行的混合范式利用多个独立的推荐算法,每个推荐算法产生各自的推荐结果,在混合阶段将这些推荐结果融合起来,生成最终的推荐结果,具体实现逻辑参考下面的图2。
图2:并行的混合推荐范式
并行混合范式利用多个推荐算法密切配合,利用特殊的混合机制聚合各个算法的结果,根据混合方案的不同主要有如下3中具体的实现方式。
(3) 掺杂(Mixed)混合
上面公式只是给出了为用户推荐的标的物列表,不同的算法可能会推荐一样的,需要去重,另外这些标的物需要先排序再最终展示给用户,一般不同算法的排序逻辑不一样,直接按照不同算法的得分进行粗暴排序往往存在问题。可以将不同的算法预测的得分统一到可比较的范围(比如可以先将每个算法的得分归一化到0-1之间),再根据归一化后的得分大小来排序。还可以通过另外一个算法来单独进行排序。
(4) 加权
(Weighted)混合
(5) 分支(Switching)混合
图3:流水线混合推荐范式
流水线混合是一个分阶段的过程,多个推荐算法一个接一个,最后的一个算法产出最终的推荐结果。根据一个算法的输出以怎样的方式给到下一个算法使用,具体可以分为如下2种实现方案。
(6) 级联(Cascade)混合
在级联方式中,一个算法的推荐结果作为输出给到下一个算法作为输入之一,下一个算法只会调整上一个算法的推荐结果的排序或者剔除掉部分结果,而不会新增推荐标的物。如果用数学语言来描述,级联混合就满足下面两个条件的混合推荐,其中n是级联的算法个数,,是第k个推荐算法的推荐结果。
注意,排在级联混合第一个算法后面的算法的输入除了前面一个算法的输出外,可能还会利用其它的数据来训练推荐算法模型,级联的目的是优化上一个算法的排序结果或者剔除不合适的推荐,通过级联会减少最终推荐结果的数量。
(7) 元级别(Meta-level)混合
注意,排在级联混合第一个算法后面的算法的输入除了前面一个算法的输出外,可能还会利用其它的数据来训练推荐算法模型,级联的目的是优化上一个算法的排序结果或者剔除不合适的推荐,通过级联会减少最终推荐结果的数量。
到此为止,我们简单介绍了三大类7种常用的进行推荐算法混合的策略,下面分别对这三大类混合范式的特点进行简单说明。
如果对于特征层面我们无更多的其他知识和信息,单体范式是有价值的,它只需要对主推
荐算法及数据结构进行极少的预处理和细微调整就可以了。
并行的混合推荐范式是对业务侵入最小的一种方式,因为混合阶段只是对不同算法的结果进行简单混合。但是由于使用了多个推荐算法的结果,整个推荐的计算复杂度会更高,并且多个算法的推荐结果的得分怎么在同一个框架中具备可比性也是比较棘手的、需要处理好的问题。
流水线式的混合策略是最复杂耗时的一类混合方案,需要对前后的两个算法有很好的理解,并且它们也需要配合好才能最终产生比单个算法好的结果,但如果能将几个差别较大(差别较大,混合后预测的方差会更小,类似遗传中的杂交优势)的推荐算法很好地整合起来时,往往收获也是较大的。
四
工业级推荐系统与混合推荐
在第三节我们详细讲解了多个推荐算法混合的各种可行情况,那么在真实的推荐业务场景中,混合推荐算法使用得多吗?一般我们会怎么进行不同推荐算法和策略的混合呢?下面我们就来回答这两个大家可能会非常关心的问题。
前面在第二节中也讲解了混合推荐算法的巨大价值,混合推荐算法的思路在工业级推荐系统中是一直在使用的,是非常有价值的一种解决推荐问题的较理想的策略。
在工业级推荐系统中一般将整个推荐流程分为召回、排序、策略调控3个阶段,具体的架构见下图4。
召回阶段的目的是通过利用不同的推荐算法将用户可能喜欢的标的物从海量标的物库(千万级或者上亿)中筛选出一个足够小的子集(几百上千)。作者在《基于标签的实时短视频推荐系统》这篇文章第四节“个性化推荐的召回与排序策略”中对多种召回策略进行了介绍(参考下面图5,感兴趣的读者可以阅读这篇文章的相关章节),这其中的每一种召回策略可以看成是一个推荐算法,不同召回算法的结果是通过掺杂混合的方式(也就是前面提到的第三种混合推荐算法)进行合并的,混合后的推荐结果作为数据输入给后续的排序推荐算法阶段进行进一步精细化处理。
图5:多类召回策略
在排序阶段,对召回阶段多种召回算法混合后的推荐结果进行精细排序,因此从召回到排序这两个阶段的pipeline就是前面提到的级联混合推荐(也就是前面提到的第六种混合推荐算法)策略。
在业务调控阶段,会根据业务规则及运营需求,对排序阶段的推荐结果进行调整,可能会调整顺序,插入需要强运营的标的物,插入广告等。这一阶段的处理是比较偏业务的,不同行业和运营策略所做的处理会很不一样,这一块可能会更多偏规则。从排序到业务调控这两个阶段的pipeline没有被前面提到的7种混合推荐算法覆盖,算是在真实业务场景下对上述混合推荐算法的一种补充和完善。
从上面一般的工业级推荐系统的三阶段pipeline架构可以知道,推荐过程是大量使用混合推荐中的一些策略和方法的,并对这些方法进行了拓展和完善。真实的工业级推荐系统是非常复杂的,不同行业和产品形态推荐系统实现方式差别较大。除了前面提到的工业级推荐系统的pipeline架构中包含混合推荐的策略,工业界推荐系统的方方面面都会用到混合的思路,下面分别对当前工业级推荐系统几种主要趋势、算法、架构或者特殊场景下中采用的混合推荐策略进行简单的分析和介绍,方便大家更好地理解混合推荐的方法和思想,通过更多的案例介绍,让大家对混合推荐的思想活学活用、融会贯通,而不仅仅停留在理论层面。
五
对混合推荐系统的思考
六
总结
https://www.netflixprize.com/
[2009] The BellKor Solution to the Netflix Grand Prize
[2009] The BigChaos Solution to the Netflix Grand Prize
[2009] The Pragmatic Theory solution to the Netflix Grand Prize
[2002] Hybrid recommender systems: Survey and experiments
[2017] Hybrid Recommender Systems : A Systematic Literature Review
[YouTube 2016] Deep Neural Networks for YouTube Recommendations
[2011] A Cascade Ranking Model for Efficient Ranked Retrieval
[2009] Hydra- A Hybrid Recommender System
[2010] An Improved Switching Hybrid Recommender System Using Naive Bayes Classifier and Collaborative Filtering
[2014] See What You Want to See- Visual User-Driven Approach for Hybrid Recommendation
[2015] HyPER- A Flexible and Extensible Probabilistic Framework for Hybrid Recommender Systems
[2016] A Hybrid Recommendation System Considering Visual Information for Predicting Favorite Restaurants
[2017] A Multicriteria Evaluation of Hybrid Recommender Systems- On the Usefulness of Input Data Characteristics
[2018] Feature-Combination Hybrid Recommender Systems for Automated Music Playlist Continuation
[2019] Hybrid Recommender System for Therapy Recommendation
[2019] Personalized Explanations for Hybrid Recommender Systems
[2009] A Unified Approach to Building Hybrid Recommender Systems
[2016] Privacy-preserving Hybrid Recommender System
A Scalable, Accurate Hybrid Recommender System
Hybrid Recommender System- Recommending Restaurants to Users
Hybrid Recommender Systems- The Review of State-of-the-Art Research and Applications
Partial VAE for Hybrid Recommender System
以上是关于混合推荐系统介绍的主要内容,如果未能解决你的问题,请参考以下文章
深度学习核心技术精讲100篇(七十七)-主流推荐引擎技术及优缺点分析