Spark远程调试参数

Posted 进无止境

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark远程调试参数相关的知识,希望对你有一定的参考价值。

Spark远程调试脚本:

#调试Master,在master节点的spark-env.sh中添加SPARK_MASTER_OPTS变量
export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"
#启动Master
sbin/start-master.sh


#调试Worker,在worker节点的spark-env.sh中添加SPARK_WORKER_OPTS变量
export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"
#启动Worker
sbin/start-slave.sh 1 spark://node-1.daxin.cn:7077

#调试spark-submit + app
bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2 

#调试spark-submit + app + executor
bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2  

 

以上是关于Spark远程调试参数的主要内容,如果未能解决你的问题,请参考以下文章

Spark远程调试+页面监控--用最熟悉的方式开发Spark应用

Spark远程调试+页面监控--用最熟悉的方式开发Spark应用

大数据:Spark Standalone 集群调度从远程调试开始说application创建

spark远程debug之调试spark on yarn 程序

Spark应用远程调试

AWS EMR - IntelliJ 远程调试 Spark 应用程序