spark - scala独立编程
Posted floakss
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark - scala独立编程相关的知识，希望对你有一定的参考价值。
>>非集成：
环境需要
* spark 2.4.0
* scala 2.11.12
* sbt （打包）
开发过程
1、shell命令下创建项目目录结构
*****/ project / src / main / scala
-> . / ClassName.scala （ touch + gedit 命令）
*****/ project
-> . / ******.sbt (Scala & spark 配置信息)
2、编写代码
3、sbt打包jar - sbt package
4、运行 spark-submit --class " ** " ..../../../../ ***.jar
>>集成环境
* Eclipse +maven/sbt
* Scala IDE for eclipse
* Intellij IDEA + maven/sbt
使用过程：
创建项目
编写代码
运行调试
【问题】：这几个工具配合使用maven/sbt 老由问题
待处理 ：1、网速慢 2、配置不熟悉
以上是关于spark - scala独立编程的主要内容，如果未能解决你的问题，请参考以下文章