Hadoop高可用原理及环境搭建
Posted zmanzi
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop高可用原理及环境搭建相关的知识，希望对你有一定的参考价值。
一、说明
本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。
二、原理
Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有对应的解决方案：
对于单点故障，Hadoop2.X中实现主备模式，有两个NameNode节点，去除之前Hadoop1.X中的SecondaryNameNode节点，用actived和standby状态区分主备机，也就是有两台NameNode主机，一台对外提供服务(actived)，另一台处于待命状态（standby），两个NameNode节点有一下几点需要说明：
1、DataNode共享：两台NameNode存储数据都在同样的DataNode集群
对于两台主机的状态监测，采用ZK(zookeeper)管理，ZK中ZKFC（zookeeper failover controller）对两台NameNode进行健康检测，ZKFC对应NameNode节点会在zookeeper中抢占锁(向zookeeper创建一个节点，如果已经被创建，说明对方已经抢占锁，自己只能是standby状态)来决定自己处于actived状态还是standby状态，如果
以上是关于Hadoop高可用原理及环境搭建的主要内容，如果未能解决你的问题，请参考以下文章