ApplicationMaster是如何启动container并通信

Posted 牵牛花

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ApplicationMaster是如何启动container并通信相关的知识,希望对你有一定的参考价值。

ApplicationMaster是如何启动container并通信

 

hadoop的关键进程

http://blog.csdn.net/jediael_lu/article/details/46386773

当wordcount程序传入两个元文件时启动了两个map task ,可以看到两个jps进程,当maptask结束,进入reducetask时,只有一个一个reducetask启动,此时只有一个yarnchild进程

yarn框架原理

https://www.processon.com/view/5662724ce4b026a7ca240129

https://www.processon.com/popular# (有很多图的网站)

 

以上是关于ApplicationMaster是如何启动container并通信的主要内容,如果未能解决你的问题,请参考以下文章

3. spark-2.4.6源码分析(基于yarn cluster模式)-YARN ApplicationMaster启动

2. spark-2.4.6源码分析(基于yarn cluster模式)-YARN client启动,提交ApplicationMaster

YARN模式运行机制

YARN基础一:基本架构和启动过程

Hadoop 2.0中的日志收集以及配置方法

yarn的架构设计