第三篇：一个Spark推荐系统引擎的实现

Posted 2020-09-19 穆晨

经过2节对MovieLens数据集的学习，想必读者对MovieLens数据集认识的不错了；同时也顺带回顾了些Spark编程技巧，Python数据分析技巧。 而本节将是让人兴奋的一节，它将实现一个基于Spark的推荐系统引擎。

前言

       经过2节对MovieLens数据集的学习，想必读者对MovieLens数据集认识的不错了；同时也顺带回顾了些Spark编程技巧，Python数据分析技巧。

       本节将是让人兴奋的一节，它将实现一个基于Spark的推荐系统引擎。

       PS1：关于推荐算法的理论知识，请读者先自行学习，本文仅介绍基于ALS矩阵分解算法的Spark推荐引擎实现。

       PS2：全文示例将采用Scala语言。

第一步：提取有效特征

       1. 首先，启动spark-shell并分配足够内存：

       

       2. 载入用户对影片的评级数据：

1 // 载入评级数据
2 val rawData = sc.textFile("/home/kylin/ml-100k/u.data")
3 // 展示一条记录
4 rawData.first()

       结果为：

       

       3. 切分记录并返回新的RDD：

1 // 格式化数据集
2 val rawRatings = rawData.map(_.split("\\t").take(3))
3 // 展示一条记录
4 rawRatings.first()

       

       4. 接下来需要将评分矩阵RDD转化为Rating格式的RDD：

1 // 导入rating类
2 import org.apache.spark.mllib.recommendation.Rating
3 // 将评分矩阵RDD中每行记录转换为Rating类型
4 val ratings = rawRatings.map { case Array(user, movie, rating) => Rating(user.toInt, movie.toInt, rating.toDouble) }

       这是因为MLlib的ALS推荐系统算法包只支持Rating格式的数据集。

第二步：训练推荐模型

       接下来可以进行ALS推荐系统模型训练了。MLlib中的ALS算法接收三个参数：

- rank：对应的是隐因子的个数，这个值设置越高越准，但是也会产生更多的计算量。一般将这个值设置为10-200；
- iterations：对应迭代次数，一般设置个10就够了；
- lambda：该参数控制正则化过程，其值越高，正则化程度就越深。一般设置为0.01。

       1. 首先，执行以下代码，启动ALS训练：

1 // 导入ALS推荐系统算法包
2 import org.apache.spark.mllib.recommendation.ALS
3 // 启动ALS矩阵分解
4 val model = ALS.train(ratings, 50, 10, 0.01)

       这步将会使用ALS矩阵分解算法，对评分矩阵进行分解，且隐特征个数设置为50，迭代10次，正则化参数设为了0.01。

       相对其他步骤，训练耗费的时间最多。运行结果如下：

       

       2. 返回类型为MatrixFactorizationModel对象，它将结果分别保存到两个(id,factor)RDD里面，分别名为userFeatures和productFeatures。

       也就是评分矩阵分解后的两个子矩阵：

       

       上面展示了id为4的用户的“隐因子向量”。请注意ALS实现的操作都是延迟性的转换操作。

第三步：使用ALS推荐模型

       1. 预测用户789对物品123的评分：

       

       2. 为用户789推荐前10个物品：

1 val userId = 789
2 val K = 10
3  
4 // 获取推荐列表
5 val topKRecs = model.recommendProducts(userId, K)
6 // 打印推荐列表
7 println(topKRecs.mkString("\\n"))

       结果为：

       

       3. 初步检验推荐效果

       获取到各个用户的推荐列表后，想必大家都想先看看用户评分最高的电影，和给他推荐的电影是不是有相似。

       3.1 创建电影id - 电影名字典：

1 // 导入电影数据集
2 val movies = sc.textFile("/home/kylin/ml-100k/u.item")
3 // 建立电影id - 电影名字典
4 val titles = movies.map(line => line.split("\\\\|").take(2)).map(array => (array(0).toInt, array(1))).collectAsMap()
5 // 查看id为123的电影名
6 titles(123)

       结果为：

       

       这样后面就可以根据电影的id找到电影名了。

       3.2 获取某用户的所有观影记录并打印：

1 // 建立用户名-其他RDD，并仅获取用户789的记录
2 val moviesForUser = ratings.keyBy(_.user).lookup(789)
3 // 获取用户评分最高的10部电影，并打印电影名和评分值
4 moviesForUser.sortBy(-_.rating).take(10).map(rating => (titles(rating.product), rating.rating)).foreach(println)

       结果为：

       

       3.3 获取某用户推荐列表并打印：

       

       读者可以自行对比这两组列表是否有相似性。

第四步：物品推荐

       很多时候还有另一种需求：就是给定一个物品，找到它的所有相似物品。

       遗憾的是MLlib里面竟然没有包含内置的函数，需要自己用jblas库来实现 = =#。

       1. 导入jblas库矩阵类，并创建一个余弦相似度计量函数：

1 // 导入jblas库中的矩阵类
2 import org.jblas.DoubleMatrix
3 // 定义相似度函数
4 def cosineSimilarity(vec1: DoubleMatrix, vec2: DoubleMatrix): Double = {
5     vec1.dot(vec2) / (vec1.norm2() * vec2.norm2())
6 }

       2. 接下来获取物品(本例以物品567为例)的因子特征向量，并将它转换为jblas的矩阵格式：

1 // 选定id为567的电影
2 val itemId = 567
3 // 获取该物品的隐因子向量
4 val itemFactor = model.productFeatures.lookup(itemId).head
5 // 将该向量转换为jblas矩阵类型
6 val itemVector = new DoubleMatrix(itemFactor)

       3. 计算物品567和所有其他物品的相似度：

 1 // 计算电影567与其他电影的相似度
 2 val sims = model.productFeatures.map{ case (id, factor) => 
 3     val factorVector = new DoubleMatrix(factor)
 4     val sim = cosineSimilarity(factorVector, itemVector)
 5     (id, sim)
 6 }
 7 // 获取与电影567最相似的10部电影
 8 val sortedSims = sims.top(K)(Ordering.by[(Int, Double), Double] { case (id, similarity) => similarity })
 9 // 打印结果
10 println(sortedSims.mkString("\\n"))

       结果为：

       

       其中0.999999当然就是自己跟自己的相似度了。

       4. 查看推荐结果：

1 // 打印电影567的影片名
2 println(titles(567))
3 // 获取和电影567最相似的11部电影(含567自己)
4 val sortedSims2 = sims.top(K + 1)(Ordering.by[(Int, Double), Double] { case (id, similarity) => similarity })
5 // 再打印和电影567最相似的10部电影
6 sortedSims2.slice(1, 11).map{ case (id, sim) => (titles(id), sim) }.mkString("\\n")

       结果为：

       

       看看，这些电影是不是和567相似？

第五步：推荐效果评估

       在Spark的ALS推荐系统中，最常用到的两个推荐指标分别为MSE和MAPK。其中MSE就是均方误差，是基于评分矩阵的推荐系统的必用指标。那么MAPK又是什么呢？

       它称为K值平均准确率，最多用于TopN推荐中，它表示数据集范围内K个推荐物品与实际用户购买物品的吻合度。具体公式请读者自行参考有关文档。

       本文推荐系统就是一个[基于用户-物品评分矩阵的TopN推荐系统]，下面步骤分别用来获取本文推荐系统中的这两个指标。

       PS：记得先要导入jblas库。

       1. 首先计算MSE和RMSE：

 1 // 创建用户id-影片id RDD
 2 val usersProducts = ratings.map{ case Rating(user, product, rating)  => (user, product)}
 3 // 创建(用户id,影片id) - 预测评分RDD
 4 val predictions = model.predict(usersProducts).map{
 5     case Rating(user, product, rating) => ((user, product), rating)
 6 }
 7 // 创建用户-影片实际评分RDD，并将其与上面创建的预测评分RDD join起来
 8 val ratingsAndPredictions = ratings.map{
 9     case Rating(user, product, rating) => ((user, product), rating)
10 }.join(predictions)
11  
12 // 导入RegressionMetrics类
13 import org.apache.spark.mllib.evaluation.RegressionMetrics
14 // 创建预测评分-实际评分RDD
15 val predictedAndTrue = ratingsAndPredictions.map { case ((user, product), (actual, predicted)) => (actual, predicted) }
16 // 创建RegressionMetrics对象
17 val regressionMetrics = new RegressionMetrics(predictedAndTrue)
18  
19 // 打印MSE和RMSE
20 println("Mean Squared Error = " + regressionMetrics.meanSquaredError)
21 println("Root Mean Squared Error = " + regressionMetrics.rootMeanSquaredError)

       基本原理是将实际评分-预测评分扔到RegressionMetrics类里，该类提供了mse和rmse成员，可直接输出获取。

       结果为：

       

       2. 计算MAPK：

// 创建电影隐因子RDD，并将它广播出去
val itemFactors = model.productFeatures.map { case (id, factor) => factor }.collect()
val itemMatrix = new DoubleMatrix(itemFactors)
val imBroadcast = sc.broadcast(itemMatrix)
 
// 创建用户id - 推荐列表RDD
val allRecs = model.userFeatures.map{ case (userId, array) => 
  val userVector = new DoubleMatrix(array)
  val scores = imBroadcast.value.mmul(userVector)
  val sortedWithId = scores.data.zipWithIndex.sortBy(-_._1)
  val recommendedIds = sortedWithId.map(_._2 + 1).toSeq
  (userId, recommendedIds)
}
 
// 创建用户 - 电影评分ID集RDD
val userMovies = ratings.map{ case Rating(user, product, rating) => (user, product) }.groupBy(_._1)
 
// 导入RankingMetrics类
import org.apache.spark.mllib.evaluation.RankingMetrics
// 创建实际评分ID集-预测评分ID集 RDD
val predictedAndTrueForRanking = allRecs.join(userMovies).map{ case (userId, (predicted, actualWithIds)) => 
  val actual = actualWithIds.map(_._2)
  (predicted.toArray, actual.toArray)
}
// 创建RankingMetrics对象
val rankingMetrics = new RankingMetrics(predictedAndTrueForRanking)
// 打印MAPK
println("Mean Average Precision = " + rankingMetrics.meanAveragePrecision)

       结果为：

       

       比较坑的是不能设置K，也就是说，计算的实际是MAP...... 正如属性名：meanAveragePrecision。

小结

       感觉MLlib的推荐系统真的很一般，一方面支持的类型少 - 只支持ALS；另一方面支持的推荐系统算子也少，连输出个RMSE指标都要写好几行代码，太不方便了。

       唯一的好处是因为接近底层，所以可以让使用者看到些实现的细节，对原理更加清晰。