Yarn资源调度管理
Posted lyr999736
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Yarn资源调度管理相关的知识，希望对你有一定的参考价值。
1.ResourceManager(资源管理器RM)常驻守护进程：
管理集群资源，负责全局资源的监控、分配和管理；
接收来自nodemanager的心跳信息，进行整体资源的汇总；
监控Applicacation Master的开启和创建；
2.Nodemanager(节点管理器NM)常驻守护进程：
yarn中的每一台节点服务器都运行一个nodemanager，Nodemanager相当于管理当前机器的一个代理；
负责本台机器的程序运行，并且对本台机器资源进行管理和监控；
Nodemanager定时向ResourceManager汇报本节点的资源(cpu、内存)使用情况；
启动并监控Container(容器)；
3.Applicacation Master(应用节点)守护进程：
用户提交一个应用将会产生相对应的Applicacation Master(AM),AM常驻在 Nodemanager上；
每个AM都需要与Nodemanager进行资源协商，将获取所需的资源(Container)用于任务(Task)的运行
监控任务(Task)的运行情况；
如果Task运行失败，它将负责为其重新申请资源和启动任务；
4.yarn调度方式
1.先进先出调度
2.容量调度
3.公平调度
以上是关于Yarn资源调度管理的主要内容，如果未能解决你的问题，请参考以下文章