spark机器学习系列：用Spark Python构建推荐系统
Posted 风雪夜归子
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark机器学习系列：用Spark Python构建推荐系统相关的知识，希望对你有一定的参考价值。
声明：版权所有，转载请联系作者并注明出处 http://blog.csdn.net/u013719780?viewmode=contents
博主简介：风雪夜归子（英文名：Allen），机器学习算法攻城狮，喜爱钻研Meachine Learning的黑科技，对Deep Learning和Artificial Intelligence充满兴趣，经常关注Kaggle数据挖掘竞赛平台，对数据、Machine Learning和Artificial Intelligence有兴趣的童鞋可以一起探讨哦，个人CSDN博客：http://blog.csdn.net/u013719780?viewmode=contents
上一篇博文详细介绍了如何使用Spark Python进行数据处理和特征提取，本系列从本文开始，将陆续介绍用Spark Python对机器学习模型进行详细的探讨。
推荐引擎或许是最为大众所知的一种机器学习模型。人们或许并不知道它确切是什么,但在使用Amazon、Netflix、YouTube、Twitter、LinkedIn和Facebook这些流行站点的时候,可能已经接触过了。推荐是这些网站背后的核心组件之一,有时还是一个重要的收入来源。
推荐引擎背后的想法是预测人们可能喜好的物品并通过探寻物品之间的联系来辅助这个过程。从这点上来说,它和同样也做预测的搜索引擎互补。但与搜索引擎不同,推荐引擎试图向人们呈现的相关内容并不一定就是人们所搜索的,其返回的某些结果甚至人们都没听说过。
推荐引擎很适合如下两类常见场景(两者可兼有)。
可选项众多:可选的物品越多,用户就越难找到想要的物品。如果用户知道他们想要什么,那搜索能有所帮助。然而最适合的物品往往并不为用户所事先知道。这时,通过向用户推荐相关物品,其中某些可能用户事先不知道,将能帮助他们发现新物品。
偏个人喜好:当人们主要根据个人喜好来选择物品时,推荐引擎能利用集体智慧,根据其他有类似喜好用户的信息来帮助他们发现所需物品。
1 推荐模型的分类
推荐系统的研究已经相当广泛,也存在很多设计方法。最为流行的两种方法是基于内容的过滤和协同过滤。另外,排名模型等近期也受到不少关注。实践中的方案很多是综合性的,它们将多种方法的元素合并到一个模型中或是进行组合。
以上是关于spark机器学习系列：用Spark Python构建推荐系统的主要内容，如果未能解决你的问题，请参考以下文章
Spark机器学习实战-使用Spark进行数据处理和数据转换