YARN调度架构中的AppMaster

Posted bitbitbyte

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了YARN调度架构中的AppMaster相关的知识,希望对你有一定的参考价值。

YARN调度架构

1590320376022

  • esourceScheduler是YARN的调度器,负责Container的分配。
  • AsyncDispatcher是单线程的事件分发器,负责向调度器发送调度事件。
  • ResourceTrackerService是资源跟踪服务,主要负责接收处理NodeManager的心跳信息。
  • ApplicationMasterService是作业的RPC服务,主要负责接收处理作业的心跳信息。
  • AppMaster是作业的程序控制器,负责跟YARN交互获取/释放资源。

AppMaster

AppMaster是一个yarn任务运行时第一个由RM启动的container,然后负责整个任务的运行,包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级,其实现不是由Yarn框架提供(历史原因,yarn提供了MapReduce的AppMaster的实现),需要用户自己实现AppMaster进程的具体实现。

参考

1万台 Hadoop 集群 YARN 的调优之路

yarn任务提交过程源码分析

Spark之Yarn Cluster运行机制

以上是关于YARN调度架构中的AppMaster的主要内容,如果未能解决你的问题,请参考以下文章

YARN调度器的性能瓶颈

YARN调度器的性能瓶颈

Hadoop ---- Yarn

YarnYarn MapReduce 程序开发

YarnYarn 应用开发之Client开发AppMaster开发

YARN详解(YARN架构设计常用命令三种调度器)