Spark-Java独立应用编程--理解：

Posted 2021-03-10 daisy99lijing

条件：maven、java应用程序代码、pom.xml

 

-pom.xml文件 

 1 <project>
 2     <groupId>edu.berkeley</groupId>
 3     <artifactId>simple-project</artifactId>
 4     <modelVersion>4.0.0</modelVersion>
 5     <name>Simple Project</name>
 6     <packaging>jar</packaging>
 7     <version>1.0</version>
 8     <repositories>
 9         <repository>
10             <id>Akka repository</id>
11             <url>http://repo.akka.io/releases</url>
12         </repository>
13     </repositories>
14     <dependencies>
15         <dependency> <!-- Spark dependency -->
16             <groupId>org.apache.spark</groupId>
17             <artifactId>spark-core_2.12</artifactId>
18             <version>3.0.0-preview2</version>
19         </dependency>
20     </dependencies>
21 </project>

 

程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。

在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下，声明该独立应用程序的信息以及与Spark的依赖关系

使用Maven打包java程序

将生成的jar包通过spark-submit提交到Spark中运行

 

学习参考：

http://dblab.xmu.edu.cn/blog/1311-2/