.Spark基于Standalone提交任务两种方式

Posted 2022-05-01 xiangyuguan

• Standalone-client模式：

1、client模式提交任务后，会在客户端启动Driver进程
2、Driver会向Master申请启动Application启动的资源
3、资源申请成功，Driver端将task发送到worker端执行
4、worker将task执行结果返回到Driver端

 

• Standalone-master模式：

1、cluster模式提交应用程序后，会向Master请求启动Driver.(而不是启动application)
2、Master接受请求，随机在集群一台节点启动Driver进程
3、Driver启动后为当前的应用程序申请资源。Master返回资源，并在对应的worker节点上发送消息启动Worker中的executor进程
4、Driver端发送task到worker节点上执行
5、worker将执行情况和执行结果返回给Driver端。Driver监控task任务，并回收结果