假期学习进度十三

Posted 2021-03-10 lover995

安装sbt

sbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar

下载后，执行如下命令拷贝至 /usr/local/sbt 中：

 

 

接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：

 

 

 

为 ./sbt 脚本增加可执行权限：

 

 

 最后运行如下命令，检验 sbt 是否可用（第一次需要下载相关jar包，耐心等待，下载时间与网速有关。成功后如图2所示）

 Scala应用程序代码
在终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录：

在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件（vim ./sparkapp/src/main/scala/SimpleApp.scala），添加代码如下：

 

 

  ./sparkapp 中新建文件 simple.sbt（vim ./sparkapp/simple.sbt），添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系：

 

 

为保证 sbt 能正常运行，先执行如下命令检查整个应用程序的文件结构：

 

 

 我们就可以通过如下代码将整个应用程序打包成 JAR（首次运行同样需要下载依赖包 ）：

/usr/local/sbt/sbt package

 

 说明成功。

最后，我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了，命令如下：