idea---编写第一个Spark程序

Posted 2021-05-16 Shall潇

文章目录

• • 添加依赖
  • 添加Scala的SDK
  • 设置根文件夹
  • 编写Spark程序

创建maven工程

添加依赖

自己根据自己安装的scala和spark版本进行选择

	<dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>2.11.12</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.1.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>2.1.1</version>
    </dependency>

添加Scala的SDK

设置根文件夹

在main文件夹下创建一个directory

将其设置为Sources文件夹

注意文件夹的颜色

在这个文件夹下创建一个Object

编写Spark程序

def main(args: Array[String]): Unit = {
  val conf = new SparkConf().setMaster("local[*]").setAppName("sparkDemo")
  val sc = SparkContext.getOrCreate(conf)
  println(sc)
  var spark:SparkSession =   SparkSession.builder().master("local[*]").appName("sparksession").getOrCreate()
  println(spark)

    //sc读取HDFS上的文件
    val wcfile = sc.textFile("hdfs://192.168.XXX.100:9000/sparkfile/hello.txt")
    wcfile.collect.foreach(println)
    //sc读取本地文件
    sc.textFile("file:///opt/soft/hello.txt")

    //通过内存创建RDD
//    val rdd:RDD[Int] = sc.parallelize(1 to 10,3)
//        rdd.collect()foreach(println)

    // wordcount
//    var wcrdd = sc.parallelize(Array("hello java","hello scala","hello python","java is good"))
//        wcrdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_).collect()foreach(println)
}