Spark在IDEA中打jar包
Posted 曹军
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark在IDEA中打jar包相关的知识，希望对你有一定的参考价值。
一：打包成jar
1.修改代码
2.使用maven打包
但是目录中有中文，会出现打包错误
3.第二种方式
4.下一步
5.下一步
6.下一步
7.下一步
8.下一步
9.完成
二：在集群上运行（local模式）
1.上传
2.学习spark-submit的使用方式
3.运行（local模式）
4.运行结果
三：集群上运行（standalone模式）
1.DeoloyMode
表示Driver执行的位置。
client如果是参数，则表示driver执行在执行spark-submit命令的机器上。
cluster是参数，则表示driver会运行在集群中选择的某一台机器上。
2.运行（standalone模式的client）
3.结果（8080端口）
4.运行（standalone模式的cluster）
5.结果
四：介绍模式
1.client
2.cluster
工作中一般都是这个，想一下还是很符合实际的。
五：YARN模式
1.使用方式
将上面的--master修改成yarn就可以运行了。
以上是关于Spark在IDEA中打jar包的主要内容，如果未能解决你的问题，请参考以下文章