大数据之Hadoop(MapReduce):资源调度器

Posted 浊酒南街

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据之Hadoop(MapReduce):资源调度器相关的知识,希望对你有一定的参考价值。

1.资源调度器分组

目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler容量调度器和Fair Scheduler公平调度器。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。
具体设置详见:yarn-default.xml文件

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

2.先进先出调度器(FIFO)

在这里插入图片描述

3.容量调度器(Capacity Scheduler)

在这里插入图片描述

4.公平调度器(Fair Scheduler)

在这里插入图片描述

以上是关于大数据之Hadoop(MapReduce):资源调度器的主要内容,如果未能解决你的问题,请参考以下文章

大数据之hadoop深入学习

Hadoop原理之——HDFS原理

Hadoop之MapReduce性能调优

大数据框架之Hadoop:MapReduceYarn资源调度器

坐实大数据资源调度框架之王,Yarn为何这么牛

大数据Hadoop之MapReduce