Yarn资源调度器

Posted 2021-03-05 chenshaowei

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于分布式的操作系统平台。

Yarn基本架构

Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

ResourceManager的作用：

• 处理客户端请求
• 监控NodeManager
• 启动或监控ApplicationMaster
• 资源的分配与调度

NodeManager的作用：

• 管理单个节点的资源
• 处理ResourceManager的命令
• 处理ApplicationMaster的命令

ApplicationMaster的作用：

• 负责数据的切分
• 为应用程序申请资源并分配内部任务
• 任务的监控与容错

工作机制

1. 用户使用客户端向 ResourceManager 提交一个任务，同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置，如果没有特别指定，则使用默认设置。
2. ResourceManager 在收到任务提交的请求后，先根据资源和队列是否满足要求选择一个 NodeManager，通知它启动一个特殊的 container，称为 ApplicationMaster，后续流程由它发起。
3. ApplicationMaster 向 ResourceManager 注册后,根据自己任务的需要，向 ResourceManager 申请 container，包括数量、所需资源量、所在位置等因素。
4. 如果队列有足够资源，ResourceManager 会将 container 分配给有足够剩余资源的 NodeManager，由 ApplicationMaster 通知 NodeManager 启动 container
5. container 启动后执行具体的任务，处理分给自己的数据。NodeManager 除了负责启动 container，还负责监控它的资源使用状况以及是否失败退出等工作，如果 container 实际使用的内存超过申请时指定的内存，会将其杀死，保证其他 container 能正常运行
6. 各个 container 向 ApplicationMaster 汇报自己的进度，都完成后，ApplicationMaster 向 ResourceManager 注销任务并退出，RM 通知 NodeManager 杀死对应的 container，任务结束。

作业调度器

Hadoop作业调度器有三种：FIFO、Capacity Scheduler和Fair Scheduler

FIFO调度器：先进先出，按照到达时间排序，先到先服务。job1要几个task分配几个task。

容量调度器（Capacity Scheduler）：支持多个队列，每个队列分配一定的资源类，每个队列按照FIFO调度策略。

job选择队列的策略：

• 首先计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列
• 其次，按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制

公平调度器（Fair Scheduler）：支持多队列多用户，，每个队列中的资源量可以配置，同一队列作业公平共享队列中所有资源。

• 每个队列中的job按照优先级分配资源，优先级越高分配的资源越高
• 每个job的需求计算资源和实际获得的计算资源存在差距，叫缺额
• 缺额越多，越优先获得资源