2020寒假生活学习日记

Posted 2021-03-12 jccjcc

安装maven
ubuntu中没有自带安装maven，需要手动安装maven。

 

 

 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件（vim ./sparkapp2/src/main/java/SimpleApp.java），添加代码如下：

 

 该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下，声明该独立应用程序的信息以及与Spark的依赖关系：

 

 为了保证maven能够正常运行，先执行如下命令检查整个应用程序的文件结构:

 

 接着，我们可以通过如下代码将这整个应用程序打包成Jar

 

 

  出现的问题：

在打包jar的时候一直出现error,后来我发现必须把pom.xml里面的

<groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.0.0-preview</version>
改成自己版本号
然后加上

<build>
        <pluginManagement>
          <plugins>
            <plugin>
              <artifactId>maven-resources-plugin</artifactId>
              <version>2.7</version>
            </plugin>           
          </plugins>
        </pluginManagement>   
    </build>
就OK了，之后保持网络顺畅，一直下载依赖包 等待结束。