ApplicationMaster是如何启动container并通信
Posted 牵牛花
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ApplicationMaster是如何启动container并通信相关的知识,希望对你有一定的参考价值。
ApplicationMaster是如何启动container并通信
http://blog.csdn.net/jediael_lu/article/details/46386773
当wordcount程序传入两个元文件时启动了两个map task ,可以看到两个jps进程,当maptask结束,进入reducetask时,只有一个一个reducetask启动,此时只有一个yarnchild进程
yarn框架原理
https://www.processon.com/view/5662724ce4b026a7ca240129
https://www.processon.com/popular# (有很多图的网站)
以上是关于ApplicationMaster是如何启动container并通信的主要内容,如果未能解决你的问题,请参考以下文章
3. spark-2.4.6源码分析(基于yarn cluster模式)-YARN ApplicationMaster启动
2. spark-2.4.6源码分析(基于yarn cluster模式)-YARN client启动,提交ApplicationMaster