十spark MLlib的scala示例

Posted 2021-01-26 lay2017

简介

spark MLlib官网：http://spark.apache.org/docs/latest/ml-guide.html

mllib是spark core之上的算法库，包含了丰富的机器学习的一系列算法。你可以通过简单的API来构建算法模型，然后利用模型来进行预测分析推荐之类的。

它包含了一些工具，如：

1）算法工具：分类、回归、聚类、协同等

2）特征化工具：特征提取、转换、降维、选择等

3）管道：用于构建、评估和调整机器学习管道的工具

4）持久性：保存和加载算法、模型、管道

5）实用工具：线性代数、统计、数据处理等工具

spark MLlib支持的算法很丰富，以下将以ALS推荐算法为例，简单使用MLlib

ALS简介

目前热门的推荐算法主要是协同过滤算法，而ALS（alternate least square：交替最小二乘法）指的是使用最小二乘法的协同过滤算法。

ALS在mllib.recommendation.ALS中，使用步骤如下：

1）输入RDD，类型为mllib.recommendation.Rating

2）调用train方法训练出模型，类型未mllib.recommendation.MatrixFactorizationModel

有了ALS模型以后，我们可以利用这个模型去做一些预测

代码示例

以下代码，使用Array数组模拟了一份简单的数据（用户ID, 商品ID, 评分），并生成RDD。

我们将RDD作为输入，进行模型训练。而后，我们拿训练好的模型进行预测：用户ID=1，产品ID=2的评分

import org.apache.spark.mllib.recommendation.{ALS, MatrixFactorizationModel, Rating}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
  * @Description spark 协同过滤推荐算法示例
  * @Author lay
  * @Date 2018/12/10 22:29
  */
object SparkALSDemo {
  var conf: SparkConf = _
  var sc: SparkContext = _
  var data: Array[String] = Array("1,1,1.0", "1,2,2.0", "1,3,4.5", "2,3,4.0", "2,4,5.0")
  var dataRDD: RDD[(Int, Int, Float)] = _
  var ratings: RDD[Rating] = _
  var model: MatrixFactorizationModel = _

  def init: Unit = {
    conf = new SparkConf().setAppName("spark als demo").setMaster("local")
    sc = new SparkContext(conf)
  }

  def makeRdd: Unit = {
    dataRDD = sc.parallelize(data).map{x => val lines = x.split(","); (lines(0).toInt, lines(1).toInt, lines(2).toFloat)}
    ratings = dataRDD.map(x => Rating(x._1, x._2, x._3))
  }

  def trainModel: Unit = {
    val rank = 10 // 向量大小，默认10
    val iterations = 10 // 迭代次数，默认10
    model = ALS.train(ratings, rank, iterations)
  }

  def main(args: Array[String]): Unit = {
    // 初始化
    init
    // 生成RDD
    makeRdd
    // 训练模型
    trainModel
    // 预测结果
    val result = model.predict(1, 2)
    println("预测评分：" + result)
  }
}

输出结果为：

预测评分：1.9874704066075966

我们看到预测数据与我们的训练数据 “2” 近似

以上代码只是做了一个简单的过程演示，大体了解MLlib的过程是个什么样的概念。

在实际项目中，输入数量可能是海量的，并且会有训练数据和校验数据。在不断地训练和校验过程当中去迭代算法实现不断地逼近实际值，从而达到满意的结果。所以，除了模型训练过程外，机器学习中对模型的精确校验也是很重要的，它的结果标识着你的模型训练是否是一个有使用价值的模型。

spark MLlib的其它算法也是类似的使用，你只需要给它数据，然后训练模型，便可以利用模型来预测分析分类等