Spark——spark应用程序的执行命令

Posted 2021-04-03 Java学习基地Java毕设定制

用于提交spark jar

Usage: spark-submit [option] <app jar | python file> [app option]

Options:

--master Master_URL	spark://host:port, mesos://host:port,yarn,or local
--deploy-mode DEPLOY_MODE	driver运行之处，client运行在本机，cluster运行在集群
--class CLASS_NAME	应用程序包的要运行的class
--name NAME	应用程序名称
--jars JARS	用逗号隔开的driver本地jar包列表以及executor类路径
--py-files PY_FILES	用逗号隔开的放在python应用程序PYTHON PATH的.zip,.py文件列表
--packages	包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
--exclude-packages	为了避免冲突 而指定不包含的 package
--repositories	远程 repository
-conf PROP=VALUE	指定 spark 配置属性的值，  例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"
--files Files	用逗号隔开的要放置在每个executor工作目录的文件列表
--properties-file FILE	设置应用程序属性的文件放置位置，默认是conf/spark-defaults.conf
--driver-memory MEM	driver内存大小，默认512M
--driver-java-options	driver的java选项
--driver-library-path	driver的库路径 Extra library path entries to pass to the driver
--driver-class-path	driver的类路径，用--jars添加的jar包会自动包含在类路径里
--driver-cores	Driver 的核数，默认是1。在 yarn 或者 standalone 下使用
--executor-memory MEM	executor内存大小，默认1G
--total-executor-cores	所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
--num-executors	启动的 executor 数量。默认为2。在 yarn 下使用
--executor-core	每个 executor 的核数。在yarn或者standalone下使用
--queue QUEUE_NAME	提交应用程序给那个YARN的队列，默认是Default队列
--archives ARCHIVES	被每个executor提取到工作目录的档案列表，用逗号隔开

参数不固定，应该根据自己集群的情况来设置合理的参数。下面举一个常用的具体例子

以下是一份spark-submit命令的示例，大家可以参考一下，并根据自己的实际情况进行调节：

./bin/spark-submit \

  --master yarn-cluster \

  --num-executors 100 \

  --executor-memory 6G \

  --executor-cores 4 \

  --driver-memory 1G \

  --conf spark.default.parallelism=1000 \

  --conf spark.storage.memoryFraction=0.5 \

  --conf spark.shuffle.memoryFraction=0.3 \