搭建分布式yarn

Posted ~~Cc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了搭建分布式yarn相关的知识,希望对你有一定的参考价值。

1.在前一篇准备好Hadoop的基础上配置,链接 http://www.cnblogs.com/cici20166/p/6266367.html

2./etc/profile 配置环境变量 export YARN_HOME=${HADOOP_HOME}

3.配置 yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>CC01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>CC01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>CC01:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>CC01:8031</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
 <name>yarn.resourcemanager.scheduler.class</name>
 <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
 <name>yarn.scheduler.fair.allocation.file</name>
 <value>fair-scheduler.xml</value>
</property>
</configuration>

 4.jps命令查看resourcemanager 和nodemanager进程有没有起来

 

以上是关于搭建分布式yarn的主要内容,如果未能解决你的问题,请参考以下文章

:环境搭建-Spark on YARN

搭建HDFS集群和Yarn集群

Flink1.8 集群搭建完全指南(1):Hadoop伪分布式

hadoop 完全分布式搭建总结

大数据---分布式任务资源调度Yarn

hadoop完全分布式的搭建的理解