spark-任务提交多个jar包问题（Oozie调度）

Posted 2021-04-03 IT民工超

01

写在前面的话

之前在提交spark任务的时将依赖和主类jar分开打包，提交任务时写在一行，一直报找不到主类异常。后查看官网后发现依赖Jar和主类Jar需分两行。

$ ./bin/spark-submit --class my.main.Class \ --master yarn \ --deploy-mode cluster \ --jars my-other-jar.jar,my-other-other-jar.jar \ my-main-jar.jar \ app_arg1 app_arg2

02

修改后提交如下

spark-submit \--class com.xxx.bigdata.handler.xxx \ -- 运行的主类--master yarn \--deploy-mode client \--driver-memory 1g \--executor-memory 2g \--executor-cores 2 \--jars hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/dw-xx-1.0.0-SNAPSHOT.jar,hdfs:///user/admin/xx/basejar/base-1.0-SNAPSHOT-shaded.jar,hdfs:///user/admin/xx/basejar/xx-sdk-1.0.0-SNAPSHOT.jar \ -- 依赖的jar包必须在一行hdfs:///user/admin/xx/sourcejar/dw-xx-sdk-1.0.0-SNAPSHOT.jar -- 运行的主类所在的jar包

记录一下这个简单的细节问题，没事的时候大家一定要多浏览官网。

依赖jar和主类jar需分别在两行，后面跟参数即可，官网也有明确的实例。