第三十七课 Spark之Task执行原理及结果
Posted sinat_25306771
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了第三十七课 Spark之Task执行原理及结果相关的知识，希望对你有一定的参考价值。
主要内容
1. Task执行原理流程图
2. Task执行源码
3. Task执行结果在Driver端的处理
一、Task在Executor（worker）端执行及返回Driver流程图
图37-1 Driver端与Executor交互图
二、Executor（worker）端执行源码解析
1.接收Driver端发来的消息
当Driver中的SchedulerBackend给ExecutorBackend发送LaunchTask之后，ExecutorBackend在接收到LaunchTask消息后，首先反序列化TaskDescription。
& StandAlone下为SchedulerBackend具体指CoarseGrainedSchedulerBackend，ExecutorBackend指CoarseGrainedExecutorBackend。
以上是关于第三十七课 Spark之Task执行原理及结果的主要内容，如果未能解决你的问题，请参考以下文章