Hadoop的配置文件设置(HDFS HA)
Posted 黎明踏浪
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop的配置文件设置(HDFS HA)相关的知识,希望对你有一定的参考价值。
Hadoop 2.7.4 + HBase 1.2.6 + ZooKeeper 3.4.10 配置
本文为上述配置的一部分,为方便阅读,故设为独立页面
各虚拟节点配置
YARN |
HDFS |
|||||||
hostname |
IP |
ResourceManager |
NodeManager |
NameNode |
DataNode |
Zookeeper |
JournalNode |
Process |
master |
192.168.2.1 |
Y |
|
Y |
|
Y |
Y |
NameNode |
slave1 |
192.168.2.2 |
Y |
Y |
Y |
Y |
Y |
Y |
NameNode |
slave2 |
192.168.2.3 |
|
Y |
|
Y |
Y |
Y |
JournalNode |
1:原理
hadoop 2.x 中支持NFS及QJM (Quorum Journal Manager), QJM 是由Cloudera 提出的基于Paxos的方案
Hadoop提供了ZKFailoverController角色,部署在每个NameNode的节点上,作为一个deamon进程, 简称zkfc,示例图如下
ZKFailoverController 主要包括三个组件:
- HealthMonitor: 监控NameNode是否处于unavailable或unhealthy状态,当前通过RPC调用NN相应的方法完成
- ActiveStandbyElector: 管理和监控自己在ZK中的状态
- ZKFailoverController 它订阅HealthMonitor 和ActiveStandbyElector 的事件,并管理NameNode的状态
ZKFailoverController主要职责:
- 健康监测:周期性的向它监控的NN发送健康探测命令,从而来确定某个NameNode是否处于健康状态,如果机器宕机,心跳失败,那么zkfc就会标记它处于一个不健康的状态
- 会话管理:如果NN是健康的,zkfc就会在zookeeper中保持一个打开的会话,如果NameNode同时还是Active状态的,那么zkfc还会在Zookeeper中占有一个类型为短暂类型的znode,当这个NN挂掉时,这个znode将会被删除,然后备用的NN,将会得到这把锁,升级为主NN,同时标记状态为Active
- 当宕机的NN新启动时,它会再次注册zookeper,发现已经有znode锁了,便会自动变为Standby状态,如此往复循环,保证高可靠,需要注意,目前仅仅支持最多配置2个NN
- master选举:如上所述,通过在zookeeper中维持一个短暂类型的znode,来实现抢占式的锁机制,从而判断那个NameNode为Active状态
2:配置
Hadoop HA的配置包括2部分,HDFS HA用于NameNode及YARN HA用于ResourceManager, 本节先配置hdfs ha
创建journal临时目录:/home/mytestzk/Hadoop-2.7.4/tmp/journal
- 修改core-site.xml,增加节点ha.zookeeper.quorum
- 修改hdfs-site.xml
删除节点dfs.namenode.secondary.http-address,并增加以下配置节点(红框内):
3:首次启动:
- 3.1 首先启动zookeeper集群, 分别在master, slave1, slave2执行以下命令
./bin/zkServer.sh start
- 3.2 初始化HA空间,在master namenode节点执行命令,格式化zkfc,在zookeeper中生成znode节点,用来保存HA或failover的数据
./bin/hdfs zkfc -formatZK
- 3.3 启动journalnode集群, 在每个节点用如下命令启日志程序
NameNode将元数据操作日志记录在JournalNode上,主备NameNode通过记录在JouralNode上的日志完成元数据同步
./sbin/hadoop-daemon.sh start journalnode
- 3.4 格式化主namenode节点
./bin/hdfs namenode -format mycluster
- 3.5 初始化JournalNode (直接配置HA时不需要这步)
如果是非HA转HA才需要这一步,在其中一个JournalNode上执行以下命令,用namenode的edits初始化JournalNode:
bin/hdfs namenode -initializeSharedEdits
- 3.6 启动NameNode
在主namenode节点,执行命令启动namenode:./sbin/hadoop-daemon.sh start namenode
在备namenode节点,首先执行命令:./bin/hdfs namenode -bootstrapStandby
这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了
然后再执行命令启动备namenode进程:./sbin/hadoop-daemon.sh start namenode
- 3.7 启动ZKFC,在两个namenode节点都执行以下命令
./sbin/hadoop-daemon.sh start zkfc
- 3.8 启动datanode, 在所有datanode节点都执行以下命令
./sbin/hadoop-daemon.sh start datanode
4:正常启动结束方法:
启动:
下次启动的时候,先启动zookeeper,然后执行以下命令就可以全部启动所有进程和服务了:
./sbin/start-dfs.sh
结束:
停止所有HDFS相关的进程服务,执行以下命令:
./sbin/stop-dfs.sh
5:测试HA的高可用性
在active namenode上执行如下命令关闭namenode: sbin/hadoop-daemon.sh stop namenode
然后访问以下两个地址查看namenode的状态:
http://master:50070/dfshealth.html
http://slave1:50070/dfshealth.html
从HDFS Non-HA 升级到 HDFS HA
- 停止HDFS:./sbin/stop-dfs.sh
- 修改配置文件 core-site.xml, hdfs-site.xml并覆盖到每台机器上
- 启动zookeeper
- 启动journalnode集群,上述第3.3步骤
- 初始化JournalNode,上述第3.5步骤
- 启动namenode节点,上述第3.6步骤
- 启动datanode节点,上述第3.8步骤
上面步骤只是配置了手动failover,在这种模式下,系统不会自动触发failover,即不会将Standby提升为Active,即使Active已经失效。接下来介绍如何实现自动failover。
- 初始化HA空间,上述第3.2步骤
完成上诉步骤后,就可以正常启动hdfs了,此时hdfs已经具备自动failover功能。
ZKFC和Namenodes守护进程的启动顺序没有关系,ZKFC只是调度Namenode的存活状态,如果不启动ZKFC,此Namenode将无法参与自动failover过程。
以上是关于Hadoop的配置文件设置(HDFS HA)的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop 2.5.2 HDFS HA+YARN HA 应用配置