Spark on Yarn模式提交任务后,会进行以下几个过程

Posted 闭关苦炼内功

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark on Yarn模式提交任务后,会进行以下几个过程相关的知识,希望对你有一定的参考价值。

1.启动SparkContext

2.向Yarn申请executor资源

3.executor向SparkContext进行注册

4.任务构建成DAG图

5.进行Stage划分与TaskSet生成

6.Task发送给executor执行

以上是关于Spark on Yarn模式提交任务后,会进行以下几个过程的主要内容,如果未能解决你的问题,请参考以下文章

Spark on Yarn:任务提交参数配置

yarn-session模式提交flink任务步骤

为什么我们生产上要选择Spark On Yarn模式?

flink:第二种模式:多个yarn session模式

spark任务的提交流程(yarn)

几种常见的spark任务提交模式