Hadoop MapReduce优化和资源调度器
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop MapReduce优化和资源调度器相关的知识，希望对你有一定的参考价值。
参考技术A将所有应用程序放入到一个队列中
局限性
所有资源按照比例划分到不同的队列
每个队列可以实现单独的调度策略
优点
调度器
CapacityScheduler
在yarn-site.xml 设置使用CapacityScheduler调度器
在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheduler.xml,添加信息如下：
配置说明
FairScheduler
公平调度器的目的:
FairScheduler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息：
新建一个公平调度配置文件fair-scheduler.xml ，信息如下：
上述配置以 data_bi 用户名作为公平调度的队列名称。
yarn-site.xml参数说明
fair-scheduler.xml参数说明
将所有应用程序放入到一个队列中
所有资源按照比例划分到不同的队列
每个队列可以实现单独的调度策略
优点
调度器
CapacityScheduler
在yarn-site.xml 设置使用CapacityScheduler调度器
在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheduler.xml,添加信息如下：
配置说明
FairScheduler
公平调度器的目的:
FairScheduler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息：
新建一个公平调度配置文件fair-scheduler.xml ，信息如下：
上述配置以 data_bi 用户名作为公平调度的队列名称。
yarn-site.xml参数说明
fair-scheduler.xml参数说明
如果Hadoop启动时，2个名称节点均无法启动，且namenode日志出现如下错误：
是由于使用了root曾启动过hadoop HDFS，因此hadoop用户没有权限访问此文件，因此可以采用以下操作进行恢复。
以上是关于Hadoop MapReduce优化和资源调度器的主要内容，如果未能解决你的问题，请参考以下文章