每日一题介绍Spark核心组件及功能？

Posted 2021-04-03 勾叔谈大数据

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了每日一题介绍Spark核心组件及功能？相关的知识，希望对你有一定的参考价值。

大家好，我是勾叔。今天的面试题是：介绍Spark核心组件及功能。

问题分析

考察Spark基本概念。

核心问题回答

Master(Cluster Manager)：集群中的管理节点，管理集群资源，通知 Worker 启动 Executor 或 Driver。

Worker ：集群中的工作节点，负责管理本节点的资源，定期向Master汇报心跳，接收Master的命令，启动Driver 或 Executor。

Driver：执行 Spark 应用中的 main 方法，负责实际代码的执行工作。其主要任务：

负责向集群申请资源，向master注册信息
Executor启动后向 Driver 反向注册
负责作业的解析、生成Stage并调度Task到Executor上
监控Task的执行情况，执行完毕后释放资源
通知 Master 注销应用程序

Executor：是一个 JVM 进程，负责执行具体的Task。Spark 应用启动时， Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有 Executor 节点发生了故障或崩溃，会将出错节点上的任务调度到其他 Executor 节点上继续运行。Executor 核心功能：

负责运行组成 Spark 应用的任务，并将结果返回给 Driver 进程
通过自身的 Block Manage 为应用程序缓存RDD

大家如果想进行更深入的了解和学习，请关注勾叔谈大数据参与更多互动。