YARN概述

Posted 2021-05-01 DataRain

YARN（Yet Another Resource Negotiator）是Hadoop的集群资源管理系统，提供了请求和使用集群资源的API，一些分布式计算框架如MapReduce、Spark等作为YARN应用运行在集群计算层（YARN）和集群存储层（HDFS、HBase）上。

YARN主要包含以下几个重要组件：

1、Resource Manager：RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控APP master、监控Node Manager、资源的分配与调度。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

调度器根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。

应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动Application Master、监控Application Master运行状态并在失败时重新启动它等。

2、Node Manager：用来启动和监控本地计算机资源Container，处理来自于Resource Manager和Application Master的命令。

3、Application Master：当Resource Manager接到YARN应用计算任务后，会在一个Container内启动Application Master，用于管理该计算任务，每个YARN应用任务都会对应新建一个Application Master，任务间互不影响。