IDEA 学习笔记之 Spark/SBT项目开发

Posted 2020-10-07 AK47Sonic

Spark/SBT项目开发:

 

下载Scala SDK

下载SBT

配置IDEA SBT：（如果不配置，就会重新下载SBT, 非常慢，因为以前我已经下过了，所以要配置为过去使用的SBT）

新建立SBT项目：

导入Spark jars：

 

创建WordCount:

import org.apache.spark.{SparkConf, SparkContext}

object WordCountDemo {
  def main(args: Array[String]): Unit = {
    if (args.length < 1) {
      System.err.println("Usage: <file>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf)
    val line = sc.textFile(args(0))

    line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).collect().foreach(println)

    sc.stop()
  }
}

配置运行参数：

运行结果：