Yarn工作原理和作业提交过程(图形化通俗易懂)

Posted 2022-05-11 lovelife110

文章目录

• • 组件模块说明
  • 架构
  • 工作原理

组件模块说明

Yarn：为一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

ResourceManager：整个集群所有资源的管理者。作用：处理客户端请求、监控NodeManager、启动或监控ApplicationMaster、资源的分配与调度。

NodeManager：单个节点服务器资源管理者。作用：管理单个节点上的资源、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令。

ApplicationMaster：单个任务运行的老大，任务在Container内运行客户端提交一个job，就会产生一个ApplicationMaster。作用：为应用程序申请资源并分配给内部的任务、任务的监控与容错。

Container：对任务运行环境的抽象，虚拟化技术容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、cpu、磁盘、网络等。好处：任务运行完直接释放。

架构

ApplicationMaster(AppMstr)要运行一个任务，要向ResourceManager(RM)申请，ResourceManager就会分配一个NodeManager(NM)来运行任务，假如ApplicationMaster要运行一个maptask，RM就会在当前NM节点上开辟一个资源，再运行。 如果当前RM资源不足，则AppMstr向RM申请，在其他NM节点开辟资源运行任务。

工作原理

0. MR(MapReduce) 程序提交到客户端所在的节点。
1. YarnRunner 向 ResourceManager 申请一个 Application。
2. RM 将该应用程序的资源路径返回给 YarnRunner。提供路径，运行所需资源需要提交到这上面。
3. 该程序将运行所需资源提交到 HDFS 上。job.split切片，控制开启多少maptask。job.xml控制任务按这个参数进行运行。wc.jar(代码)。
4. 程序资源提交完毕后，申请运行 mrAppMaster。
5. RM 将用户的请求初始化成一个 Task。放在任务队列。
6. ResourceManager就会分配一个NodeManager(NM)来运行任务。然后这个NodeManager 领取到 Task 任务。
7. 该 NodeManager 创建容器 Container， 并产生 MRAppmaster。
8. Container 从 HDFS 上拷贝资源到本地。拿job.split切片信息。
9. MRAppmaster 向 RM 申请运行 MapTask 资源。图中例子为2个。
10. RM 将运行 MapTask 任务分配给另外两个 NodeManager， 另两个 NodeManager 分别领取任务并创建容器。
11. MRAppmaster向两个接收到任务的 NodeManager 发送程序启动脚本， 这两个 NodeManager分别启动 MapTask，开始运行代码，这时候会开启YarnChild， 执行完后按分区持久化到磁盘。
12. MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器，运行 ReduceTask，图中2个分区，开启2个ReduceTask。
13. ReduceTask 向 MapTask 获取相应分区的数据。开始ReduceTask的执行。
14. 程序运行完毕后， MrAppMaster 会向 RM 申请注销自己，释放对应的资源。