YARN-Hadoop集群资源管理系统

Posted 2023-03-21

参考技术A MapReduce v2最基本的设计思想是将JobTracker的两个主要功能，即资源管理和作业调度及监控拆分为两个独立的进程。在该解决方案中包含两个组件：全局的Resource Manager和与每个应用相关的Application Master，ResourceManager和NodeManager（NM，每个节点一个）共同组成整个数据计算框架。

RM负责整个集群的资源管理和分配，是一个全局的资源调度系统。这里是纯调度工作，不再负责监控或者跟踪应用的执行状态，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些工作都交由AM执行。

NM是每个节点上的资源和任务管理器，定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；同时，它还接收并处理来自AM的Container启动/停止等各种请求。

用户提交的每个应用程序均包含1个AM，主要功能包括：

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。会把程序的jar包也拷贝到容器内存中。
Yarn工作流程
yarn的工作流程如下图所示：

Yarn集群默认自带，不需要任何配置，并不适用于共享集群（多租户场景），耗时长的任务会导致后提交的任务一直处于等待状态，如果这个集群是多用户共享的，显然不合适。

[图片上传失败...(image-3635e5-1595569808205)]

Capacity Schedule调度器以队列为单位划分资源。一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：

default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源，设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。队列里的应用以FIFO方式调度，每个队列可设定一定比例的资源最低保证和使用上限，同时，每个用户也可以设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时，可暂时将剩余资源共享给其他队列。

在ResourceManager中配置它要使用的调度器，配置方式是修改conf/yarn-site.xml，设置属性：

调度器的核心就是队列的分配和使用了，修改conf/capacity-scheduler.xml可以配置队列。
Capacity调度器默认有一个预定义的队列——root,所有的队列都是它的子队列。队列的分配支持层次化的配置，使用.来进行分割，比如yarn.scheduler.capacity.<queue-path>.queues
下面是配置的样例，比如root下面有三个子队列:

它是队列的资源容量占比(百分比)。系统繁忙时，每个队列都应该得到设置的量的资源；当系统空闲时，该队列的资源则可以被其他的队列使用。同一层的所有队列加起来必须是100%。

队列资源的使用上限。由于系统空闲时，队列可以使用其他的空闲资源，因此最多使用的资源量则是该参数控制。默认是-1，即禁用。

每个任务占用的最少资源。比如，你设置成了25%。那么如果有两个用户提交任务，那么每个任务资源不超过50%。如果3个用户提交任务，那么每个任务资源不超过33%。如果4个用户提交任务，那么每个任务资源不超过25%。如果5个用户提交任务，那么第五个用户需要等待才能提交。默认是100，即不去做限制。

每个用户最多使用的队列资源占比，如果设置为50.那么每个用户使用的资源最多就是50%。

Fair调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设置）。公平调度也可以在多个用户间工作。举个例子，假设有两个用户A和B，他们分别拥有一个队列。当A启动一个job而B没有任务时，A会获得全部集群资源；当B启动一个job后，A的job会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行，则它将会和B的第一个job共享B这个队列的资源，也就是B的两个job会用于四分之一的集群资源，而A的job仍然用于集群一半的资源，结果就是资源最终在两个用户之间平等的共享。

Fair调度器的配置文件位于类路径下的fair-scheduler.xml文件中，这个路径可以通过yarn.scheduler.fair.allocation.file属性进行修改。我们可以在配置文件中配置每一个队列，并且可以像Capacity调度器一样分层次配置队列。比如，参考capacity-scheduler.xml来配置fair-scheduler：

Flink On Yarn集群部署

参考技术A ResourceManager ：ResourceManager负责整个集群的资源管理和分配，是一个全局的资源管理系统。NodeManager以心跳的方式向ResourceManager汇报资源使用情况。（目前主要是CPU和内存的使用情况）。RM只接受NM的资源回报信息，对于具体的资源处理则交给NM处理。

NodeManager ：NodeManager是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。YARN集群每个节点都运行一个NodeManager。NodeManager定时想ResourceManager汇报节点资源（CPU、内存）的使用情况和Container的运行状态。当RecourceManager宕机和NodeManager自动连接RM备用节点。NodeManager接收并处理来自ApplicationMaster的Container启动、停止等各种请求。

ApplicationMaster ：负责与RM调度器协商以及获取资源（用Container表示）。将得到的任务进一步分配给内部的任务（资源的二次分配）。与NM通信以启动/停止任务。监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

步骤1：用户向YRAN提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMatser的命令，用户程序等。

步骤2：ResourceManager为该应用程序分配第一个Container，并与对应的NodeManager通信，要求它在这个Container中启动应用程序的ApplicationMaster。

步骤3：ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查看应用程序的运行状态，直到运行结束，即重复步骤4-7。

步骤4：ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

步骤5：一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。

步骤6：NodeManager为任务设置好运行环境（包括环境变量、Jar包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

步骤7：各个任务通过某个RPC协议向ApplicationMatser汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。

步骤8 应用程序运行完成后，ApplicationMaster想ResourceManager注销并关闭自己。