YARN资源管理系统

Posted 2021-05-01 牛学汇

YARN通信协议

YARN工作流程

多角度理解YARN

1.RPC协议是连接各个组件的“大动脉”

2.YARN采用的是拉式（pull-based）通信模型

(1)任何两个需相互通信的组件之间仅有一个RPC协议

(2)对于任何一个RPC 协议，通信双方有一端是Client，另一端为Server，且Client总是主动连接Server的

1.YARN主要由以下几个RPC协议组成

2.ApplicationClientProtocol
JobClient通过该RPC协议提交应用程序、查询应用程序状态等

ResourceManagerAdministrationProtocol
Admin通过该RPC协议更新系统配置文件，比如节点黑白名单、用户队列权限等

ApplicationMasterProtocol
AM通过该RPC协议向RM注册和撤销自己，并为各个任务申请资源ContainerManagementProtocol
AM通过该RPC要求NM启动或者停止Container，获取各个Container的使用状态等信息

ResourceTracker
NM通过该RPC协议向RM注册，并定时发送心跳信息汇报当前节点的资源使用情况和Container运行情况

         运行YARN的应用程序主要有两类：短应用程序和长应用程序

      短应用程序指在一定时间内可以运行完成并正常退出的应用程序，比如MapReduce作业

      长应用程序是指不出意外，永不终止运行的应用程序，通常是一些服务，比如Storm Service，HBase Service等，当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：

第一阶段：启动ApplicationMaster

第二阶段：由ApplicationMaster创建应用程序

为了快速处理一个大的数据集，通常采用多线程并行编程

主要功能：

       对集群中各类资源进行抽象

       按照一定的策略，将资源分配给应用程序或服务

       采用一定的隔离机制防止应用程序或者服务之间因资源抢占而相互干扰

   引入YARN这一层后，各种计算框架可各自发挥自己的优势，并由YARN进行统一管理。

    目前支持的应用系统有：MapReduce、Spark、Storm、HBase等

      三层服务：IaaS、PaaS和SaaS

   IaaS：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施获得服务

   PaaS：平台即服务。PaaS是将软件研发的平台作为一种服务，以SaaS的模式提交给用户

   SaaS：软件即服务。 它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动

    YARN可以看作PaaS层，它能够为不同类型的应用程序提供统一的管理和调度

本次就学习到这里。关注牛学汇共同学习