大数据框架-YARN

Posted 2021-01-05 xiongchang95

YARN(Yet Another Resource Negotiator): 是一种新的 Hadoop 资源管理器

[ResourceManager：纯粹的调度器，基于应用程序对资源的需求进行调度的，不对应用进行监控和状态跟踪。ResourceManager中有一个模块叫做ApplicationsMaster,它是检测ApplicationMaster的运行状况，如果出问题，会将其在其他机器上重启。

ApplicationMaster：ApplicationMaster的主要作用是向ResourceManager申请资源并和NodeManager协同工作来运行应用的各个任务然后跟踪它们状态及监控各个任务的执行，遇到失败的任务还负责重启它。一个ApplicationMaster其实就是一个类库，一个ApplicationMaster类库何以对应多个实例。总结来说就是，每种类型的应用都会对应一个ApplicationMaster，每个类型的应用都可以启动多个ApplicationMaster实例。所以，在yarn中，每个job都会对应一个ApplicationMaster实例。

NodeManager：每个节点上的资源和任务管理器，负责Container状态的维护(接收并处理来自AM的Container启动/停止等各种请求)，并向RM保持心跳(汇报本节点上的资源使用情况和Container的运行状态)。

YarnChild:用于表示任务执行的子进程。

Container：它是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当ApplicationMaster向ResourceManager申请资源时，返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。销毁与否由AppM决定,AppM发送指令让NM销毁Container。

 

1、客户端程序向ResourceManager提交应用并请求一个ApplicationMaster实例 2、ResourceManager找到可以运行一个Container的NodeManager，并在这个Container中启动ApplicationMaster实例 3、ApplicationMaster向ResourceManager进行注册，注册之后客户端就可以查询ResourceManager获得自己ApplicationMaster的详细信息，以后就可以和自己的ApplicationMaster直接交互了 4、在平常的操作过程中，ApplicationMaster根据resource-request协议向ResourceManager发送resource-request请求 5、当Container被成功分配之后，ApplicationMaster通过向NodeManager发送container-launch-specification信息来启动Container， container-launch-specification信息包含了能够让Container和ApplicationMaster交流所需要的资料 6、应用程序的代码在启动的Container中运行，并把运行的进度、状态等信息通过application-specific协议发送给ApplicationMaster 7、在应用程序运行期间，提交应用的客户端主动和ApplicationMaster交流获得应用的运行状态、进度更新等信息，交流的协议也是application-specific协议 8、一但应用程序执行完成并且所有相关工作也已经完成，ApplicationMaster向ResourceManager取消注册然后关闭，用到所有的Container也归还给系统。

Client通知RM，RM返回一个固定地址和jobID，作为HDFS上该job相关jar包的存放地址；同时Client提交job相关信息至RM，RM找到可运行container的NM，并启动该job的任务调度器AppM；该AppM注册到RM，并根据job的jar包相关资源信息来向RM申请资源；

AppM根据接受资源元数据通知NM分配Container资源；Container再向AppM注册；AM启动YarnChild进行任务调度和计算。