Yarn一点小认识

Posted 2020-10-11 xiaoyon

正文

　　打开官网http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/YARN.html，将图片拿过来。

　　

　　我用的是2.6.5的hadoop，2.x的yarn已经进行了升级。首相映入眼帘的是Resource Manager,我们在start-yarn.sh之后jps也可以看到我们的Resource服务。官网介绍了，Resource Manager是有两个组件组成的。The ResourceManager has two main components: Scheduler and ApplicationsManager.

　　rm接收到MR程序也就是我们的Client，回去寻找一个合适得节点去创建MRAppMaster。RM主要就是去管理nodemanager和这些MRAppMaster。从图可以看出来，每个node节点都有一个AppMstr， 而AppMaster的任务就是去创建需要多少个maptask，reducetask；AppMaster需要去解析MR程序，解析完毕后去RM申请资源，那么我们的资源就是图上的Container，Container就是要执行一个Task，一个node中会有多个Container也就是多个任务。

　　Scheduler 的任务就是分配资源的应用程序，而ApplicationsManager负责提交任务的给哪个容器，如果失败会去重启服务。如果哪个node节点出现故障则不会影响到整体的节点。而1.x是有JobTracer来创建TaskTracer，所有的解析，监督，资源都是有JobTracer一人来干，如果哪个node出现问题，则会导致整体崩溃。

　　简单的理解一下，解释的不是很详尽请多见谅，本来跟大家一起学习的态度，希望大家一起交流，希望大牛多多指点。

　　　　　　　　　　i  want  to do something,i know i can do