YARN调度器的性能瓶颈
Posted bitbitbyte
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了YARN调度器的性能瓶颈相关的知识，希望对你有一定的参考价值。
DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的.
AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级，其实现不是由Yarn框架提供（历史原因，yarn提供了MapReduce的AppMaster的实现），需要用户自己实现AppMaster进程的具体实现。
如何解决调度器调度能力不足, 计算资源浪费的问题.
调度器有: 公平调度器, 和容量量调度器.
公平调度器的 性能瓶颈的核心原因是 : 核心调度流程是单线程执行的。这意味着Container分配是串行的，这是调度器存在性能瓶颈的核心原因
参考
以上是关于YARN调度器的性能瓶颈的主要内容，如果未能解决你的问题，请参考以下文章