Hadoop hdfs yarn HA

Posted javaTest

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop hdfs yarn HA相关的知识,希望对你有一定的参考价值。

Master MasterStandBy
Slave1 Slave2 Slave3


Zookeeper安装在Slave1,Slave2,Slave3上

->启动zookeeper
    ./zkServer.sh start  
    查看zookeeper状态:./zkServer.sh status, 正确的状态是一个leader,两个follower。
->在三个slave上启动journalnode
    sbin/hadoop-daemon.sh start journalnode
->在master上格式化hdfs
    hadoop namenode -format
->在master上格式化zkfc
    hdfs zkfc -formatZK
->在master启动所有
    ./start-all.sh

->在MasterStandBy上同步journalnode的共享数据,然后启动namenode进程:
    ./hdfs namenode  -bootstrapStandby
    ./hadoop-daemon.sh start  namenode

 

配置文件样板:

https://github.com/zhongzai/hadoop-/etcStandBy.rar

 

帮助链接

http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

http://hadoop.apache.org/docs/r2.8.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/ClusterSetup.html

http://blog.csdn.net/everl_1/article/details/52303011

http://blog.csdn.net/u014726937/article/details/51154651

 





















以上是关于Hadoop hdfs yarn HA的主要内容,如果未能解决你的问题,请参考以下文章

2.安装hdfs yarn

Hadoop的三大核心组件之HDFS和YARN

Hadoop3.1.0 HA(hdfs+yarn) 集群模式-下

Hadoop源代码点滴-系统结构(HDFS+YARN)

Linux企业运维——Hadoop大数据平台(下)hdfs高可用Yarn高可用hbase高可用

Linux企业运维——Hadoop大数据平台(下)hdfs高可用Yarn高可用hbase高可用