3HDFS架构和YARN架构

Posted 2021-01-27 grand-jon

HDFS 架构图

---

HDFS 服务功能

---

NameNode

NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

DataNode

DataNode在本地文件系统存储文件块数据，以及块数据的校验和。

Secondary NameNode

Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

YARN 架构图

---

YARN 服务功能

---

ResourceManager

• 处理客户端请求；
• 启动/监控ApplicationMaster;
• 监控NodeManager;
• 资源分配与调度

ApplicationMaster

• 数据切分；
• 为应用程序申请资源，并分配给内部任务；
• 任务监控与容错

NodeManager

• 单个节点上的资源管理；
• 处理来自ResourceManager的命令；
• 处理来自ApplicationMaster的命令

Container

• 对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息