yarn工作流程

Posted 2023-03-21

参考技术A yarn:资源调度框架。

yarn包括2个部分：一个是资源管理器，一个是节点管理器。前者主要负责整个集群的资源调度管理，后者主要负责服务器上的资源和任务管理。

资源管理器：包含2个部分-调度器和应用程序管理器。应用程序管理器负责应用程序的提交、监控应用程序运行状态等。

yarn的整个工作流程：

1、客户端向yarn提交应用程序

2、资源管理器进程和节点管理器进程通信，根据集群资源，为用户程序分配第一个容器，并将mp applicationmaster 分发到这个容器上面，并在容器内启动mp applicationmaster.

3、mp applicationmaster启动后立即向资源管理节点进程注册，并为自己的应用程序申请容器资源

4、mp applicationmaster申请到需要的容器后，立即和相应的节点管理器进程通信，将用户mp程序分发到节点管理器进程所在服务器，并在容器中运行，运行的就是mp或reduce任务

5、mp或者reduce任务在运行期间和mp applicationmaster通信，汇报自己的运行状态，如果运行结束，mp  applicationmaster向资源管理器进程注销并释放所有的容器资源。

学习新知识的一个5-20-2法则：

5分钟时间了解这个新知识的特点、应用场景、要解决的问题

20分钟理解它的主要设计原理、核心思想和思路

2个小时去看关键的细节，尝试使用或做一个demo