搭建hadoop2.6.0 HDFS HA及YARN HA
Posted 李杰然
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了搭建hadoop2.6.0 HDFS HA及YARN HA相关的知识，希望对你有一定的参考价值。
最终结果：
[hadoop@h41 ~]$ jps
12723 ResourceManager
12995 Jps
12513 NameNode
12605 DFSZKFailoverController
[hadoop@h42 ~]$ jps
12137 ResourceManager
12233 Jps
12009 DFSZKFailoverController
11930 NameNode
[hadoop@h43 ~]$ jps
12196 DataNode
12322 NodeManager
12435 Jps
11965 QuorumPeerMain
12050 JournalNode
[hadoop@h44 ~]$ jps
11848 QuorumPeerMain
11939 JournalNode
12309 Jps
12156 NodeManager
12032 DataNode
[hadoop@h45 ~]$ jps
12357 Jps
11989 JournalNode
11904 QuorumPeerMain
12204 NodeManager
12080 DataNode
角色分配：
| h41 | NameNode | DFSZKFailoverController | ResourceManager | ||||
| h42 | NameNode | DFSZKFailoverController | ResourceManager | ||||
| h43 | NodeManager | JournalNode | QuorumPeerMain | DataNode | |||
| h44 | NodeManager | JournalNode | QuorumPeerMain | DataNode | |||
| h45 | NodeManager | JournalNode | QuorumPeerMain | DataNode |
说明：在hadoop2.X中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM（由cloudra提出，原理类似zookeeper）。这里我使用QJM完成。主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
一、准备环境：
关闭防火墙和selinux（所有虚拟机）
service iptables stop
chkconfig iptables off(设置自动启动为关闭)
setenforce 0
vi /etc/selinux/config
SELINUX=disabled
搭建3节点hadoop集群