spark2.x任务提交过程

Posted lyy-blog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark2.x任务提交过程相关的知识,希望对你有一定的参考价值。

spark-shell/spark-submit/pyspark等关系如下:

技术分享图片

 

技术分享图片

 

技术分享图片

 

以上是关于spark2.x任务提交过程的主要内容,如果未能解决你的问题,请参考以下文章

Storm集群上的开发 ,Storm的内部原理,storm提交任务的过程

spark任务运行过程的源码分析

Spark 源码阅读——任务提交过程

《Elasticsearch 源码解析与优化实战》第14章:Cluster模块分析

《Elasticsearch 源码解析与优化实战》第14章:Cluster模块分析

Spark on Yarn模式提交任务后,会进行以下几个过程