2021年大数据Hadoop（二十六）：Yarn三大组件介绍

Posted 2021-06-25 Lansonli

 

全网最详细的Hadoop文章系列，强烈建议收藏加关注！

后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。

目录

本系列历史文章

前言

Yarn三大组件介绍

ResourceManager

NodeManager

ApplicationMaster

---

本系列历史文章

2021年大数据Hadoop（二十五）：YARN通俗介绍和基本架构

2021年大数据Hadoop（二十四）：MapReduce高阶训练

2021年大数据Hadoop（二十三）：MapReduce的运行机制详解

2021年大数据Hadoop（二十二）：MapReduce的自定义分组

2021年大数据Hadoop（二十一）：MapReuce的Combineer

2021年大数据Hadoop（二十）：MapReduce的排序和序列化

2021年大数据Hadoop（十九）：MapReduce分区

2021年大数据Hadoop（十八）：MapReduce程序运行模式和深入解析

2021年大数据Hadoop（十七）：MapReduce编程规范及示例编写

2021年大数据Hadoop（十六）：MapReduce计算模型介绍

2021年大数据Hadoop（十五）：Hadoop的联邦机制 Federation

2021年大数据Hadoop（十四）：HDFS的高可用机制

2021年大数据Hadoop（十三）：HDFS意想不到的其他功能

2021年大数据Hadoop（十二）：HDFS的API操作

2021年大数据Hadoop（十一）：HDFS的元数据辅助管理

2021年大数据Hadoop（十）：HDFS的数据读写流程

2021年大数据Hadoop（九）：HDFS的高级使用命令

2021年大数据Hadoop（八）：HDFS的Shell命令行使用

2021年大数据Hadoop（七）：HDFS分布式文件系统简介

2021年大数据Hadoop（六）：全网最详细的Hadoop集群搭建

2021年大数据Hadoop（五）：Hadoop架构

2021年大数据Hadoop（四）：Hadoop发行版公司

2021年大数据Hadoop（三）：Hadoop国内外应用

2021年大数据Hadoop（二）：Hadoop发展简史和特性优点

2021年大数据Hadoop（一）：Hadoop介绍

 

前言

 2021年全网最详细的大数据笔记，轻松带你从入门到精通，该栏目每天更新，汇总知识分享

Yarn三大组件介绍

 

ResourceManager

• ResourceManager负责整个集群的资源管理和分配，是一个全局的资源管理系统。
• NodeManager以心跳的方式向ResourceManager汇报资源使用情况（目前主要是CPU和内存的使用情况）。ResourceManager只接受NodeManager的资源回报信息，对于具体的资源处理则交给NodeManager自己处理。
• ResourceManager中的YARN Scheduler组件根据application的请求为其分配资源，不负责具体job的监控、追踪、运行状态反馈、启动等工作。

 

 

NodeManager

• NodeManager是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。YARN集群每个节点都运行一个NodeManager。
• NodeManager定时向ResourceManager汇报本节点资源（CPU、内存）的使用情况和Container的运行状态。当ResourceManager宕机时NodeManager自动连接ResourceManager备用节点。
• NodeManager接收并处理来自ApplicationMaster的Container启动、停止等各种请求。

 

ApplicationMaster

• 用户提交的每个应用程序均包含一个ApplicationMaster，它可以运行在ResourceManager以外的机器上。
• 负责与ResourceManage调度器协商以获取资源（用Container表示）。
• 将得到的任务进一步分配给内部的任务(资源的二次分配)。
• 与NodeManager通信以启动/停止任务。
• 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

---

本博客大数据系列文章会一直每天更新，记得收藏加关注喔~