hadoop学习之yarn资源管理

Posted 2021-01-31 慵懒的书生

yarn

一、yarn简介

　　yarn是在hadoop2.x中才引入的一个新的机制，在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配，那么引入yarn之后，hadoop的资源管理的任务就全部交给yarn来处理，从而实现存储、任务、资源的分离。

二、yarn的主要角色

　　1.ResourceManager

　　ResourceManager是基于应用程序对集群资源的需求进行调度的Yarn集群主控节点，负责协调和管理整个集群（所有 NodeManager）的资源，响应用户提交的不同类型应用的 解析，调度，监控等工作。

　　2.NodeManager

　　NodeManager 是 Yarn 集群当中真正资源的提供者，是真正执行应用程序的容器的提供者，监控应用程序的资源使用情况（CPU，内存，硬盘，网络），并通过心跳向集群资源调度器 ResourceManager 进行汇报以更新自己的健康状态，管理日志和不同应用程序用到的附属服务。

　　3.ApplicationMaster

　　负责应用程序相关的事务，比如任务调度、任务监控和容错等。

　　4.Container

　　hadoop集群的资源统称，包括cpu，内存，磁盘，网络等。

三、工作机制

　　1.首先，用户通过客户端连接到RM，向RM发送申请启动应用

　　2.RM会先去NM上面寻找，看哪个NM还有资源空余，这里的资源就是指container

　　3.假设其中一个NM汇报说我这里有资源，然后RM就会命令NM分配对应的container

　　4.RM在NM分配的container上面启动应用 ，并监控应用

　　5.若这个应用也有子应用要启动(比如spark的driver启动excuter)，则会通知RM，然后RM继续向NM请求资源

　　6.NM继续分配container，RM在其上面启动应用，并监控

　　下面以一张spark on yarn的流程举例，spark先向RM申请资源启动driver，然后driver继续申请资源启动excuter

四、yarn的资源调度

　　1.FIFO

　　一个hadoop集群默认的yarn资源调度策略就是FIFO，FIFO模式会根据任务的请求的先后依次执行，若在前一个任务执行的过程中还有资源空余，便会同时执行下一个任务，直到资源全部被占用，那么剩下的后面的任务就需要进行等待

　　2.capaticy

　　通常用于一个集群（集群被多个组织共享）中运行多个Application的情况，目标是最大化吞吐量和集群利用率。CapacityScheduler允许将整个集群的资源分成多个部分，每个组织使用其中的一部分，即每个组织有一个专门的队列，每个组织的队列还可以进一步划分成层次结构（Hierarchical Queues），从而允许组织内部的不同用户组的使用。

　　每个队列内部，按照FIFO的方式调度Applications。当某个队列的资源空闲时，可以将它的剩余资源共享给其他队列。

　　3.fair

　　FairScheduler允许应用在一个集群中公平地共享资源。默认情况下FairScheduler的公平调度只基于内存，也可以配置成基于memory and CPU。当集群中只有一个app时，它独占集群资源。当有新的app提交时，空闲的资源被新的app使用，这样最终每个app就会得到大约相同的资源。可以为不同的app设置优先级，决定每个app占用的资源百分比。FairScheduler可以让短的作业在合理的时间内完成，而不必一直等待长作业的完成。简单来说就是，谁抢到资源就归谁使用。