idea 的搭建 maven spark开发环境

Posted 2020-12-25 小#安

spark依赖配置网址http://mvnrepository.com/
1.create new project
2.meven，直接next
3.输入group id等
4.输入project name
5.可以删掉main下的java和resources
6.右键点击项目，选Add Framework Support，勾选Scala前面的复选框，然后点击确定即可
7.在main文件夹中建立一个名为 scala 的文件夹，并右键点击 scala 文件夹，选择
Make Directory as，然后选择Sources Root ，这里主要意思是将 scala 文件
夹标记为一个源文件的根目录，然后在其内的所有代码中的 package ，其路径就
从这个根目录下开始算起。

8.在已经标记好为源文件根目录的 scala 文件夹 上，右键选择 New，然后选择
Scala Class，随后设置好程序的名称，并且记得将其设置为一个
Object(类似于Java中含有静态成员的静态类)，正常的话，
将会打开这个 Object 代码界面，并且可以看到IntelliJ IDEA自动添加了一些最
基本的信息；

9.在文件添加代码
def main(args: Array[String]):Unit = {
println("Hello World!")
}
run了之后可看到hello world

10.pom中导入对应依赖包
<properties>
<spark.version>${spark.version}</spark.version>
<scala.version>2.11</scala.version>
</properties>

<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>

</dependencies>

<build>
<plugins>

<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>

<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.6.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>

<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.19</version>
<configuration>
<skip>true</skip>
</configuration>
</plugin>

</plugins>
</build>

11.https://blog.csdn.net/u012373815/article/details/53266301
https://blog.csdn.net/u012877472/article/details/51000690

12.二维数组输出
for((k,v)<-r)println(k+"="+v) //r为二维数组