YARN调度器的性能瓶颈

Posted bitbitbyte

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了YARN调度器的性能瓶颈相关的知识,希望对你有一定的参考价值。

DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的.

AppMaster是一个yarn任务运行时第一个由RM启动的container,然后负责整个任务的运行,包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级,其实现不是由Yarn框架提供(历史原因,yarn提供了MapReduce的AppMaster的实现),需要用户自己实现AppMaster进程的具体实现。

技术图片

如何解决调度器调度能力不足, 计算资源浪费的问题.
调度器有: 公平调度器, 和容量量调度器.
公平调度器的 性能瓶颈的核心原因是 : 核心调度流程是单线程执行的。这意味着Container分配是串行的,这是调度器存在性能瓶颈的核心原因

参考

1万台 Hadoop 集群 YARN 的调优之路



以上是关于YARN调度器的性能瓶颈的主要内容,如果未能解决你的问题,请参考以下文章

hadoop调度器的原理和应用场景解析

Hadoop YARN:调度性能优化实践(转)

Yarn资源调度器的选择

Hadoop Yarn调度器的选择和使用

Hadoop Yarn调度器的选择和使用

YARN中的资源调度