Hbase 多数据中心复制-Zookeeper

Posted

技术标签:

【中文标题】Hbase 多数据中心复制-Zookeeper【英文标题】:Hbase multi datacenter replication- Zookeeper 【发布时间】:2017-03-21 11:10:06 【问题描述】:

我们正在规划用于复制(灾难恢复)的多数据中心 HBase 集群。集群 1 或 Master 集群将复制到另一个 DC 中的 Slave 集群。在这样的设置中,两个集群可以使用不同的 zookeeper,还是应该都指向一个可以从两个数据中心访问的公共 zookeeper 实例?什么是最好的策略。

【问题讨论】:

【参考方案1】:

既然你提到了Master和Slave集群,我假设数据复制只会从Master到Slave。即使可以使用单个 zookeeper quorum 来处理复制,我还是建议为每个集群使用单独的 zookeeper quorum。因为假设数据中心的一个位置由于某种自然灾害而完全停机,所以另一个集群不会受到影响。

如果您决定使用单个 zookeeper quorum,则需要提及不同的 zookeeper.znode.parent 来维护两个集群的数据。更多详情也可以参考Apache document on Hbase Replication deployment

【讨论】:

以上是关于Hbase 多数据中心复制-Zookeeper的主要内容,如果未能解决你的问题,请参考以下文章

在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase

Zookeeper的基本原理(zk架构zk存储结构watch机制独立安装zk集群间同步复制)

hbase里的hlog存在哪?regionserver里还是zookeeper里?

优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化

优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化

HBase的多节点集群详细启动步骤(3或5节点)(分为Zookeeper自带还是外装)