Yarn架构
Posted fisherinbox
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Yarn架构相关的知识，希望对你有一定的参考价值。
jobtracker存在单点故障问题
jobtracker只支持mapreduce，计算框架不具有可扩展性
jobtracker是性能瓶颈
yarn可以整合不同的计算框架，提高资源利用率
yarn的基本架构
yarn运行过程
yarn容错性
Resource Manager
存在单点故障
正在基于zookeeper实现HA
NodeManager
失败后，RM将失败任务告诉对应的AM，AM决定如何处理失败的任务。
Application Master
失败后，由RM负责重启
AM需要处理内部任务的容错问题
RMAppMaster会保存已经运行完成的Task，重启后无需重新运行
以上是关于Yarn架构的主要内容，如果未能解决你的问题，请参考以下文章