Hbase 多数据中心复制-Zookeeper
Posted
技术标签:
【中文标题】Hbase 多数据中心复制-Zookeeper【英文标题】:Hbase multi datacenter replication- Zookeeper 【发布时间】:2017-03-21 11:10:06 【问题描述】:我们正在规划用于复制(灾难恢复)的多数据中心 HBase 集群。集群 1 或 Master 集群将复制到另一个 DC 中的 Slave 集群。在这样的设置中,两个集群可以使用不同的 zookeeper,还是应该都指向一个可以从两个数据中心访问的公共 zookeeper 实例?什么是最好的策略。
【问题讨论】:
【参考方案1】:既然你提到了Master和Slave集群,我假设数据复制只会从Master到Slave。即使可以使用单个 zookeeper quorum 来处理复制,我还是建议为每个集群使用单独的 zookeeper quorum。因为假设数据中心的一个位置由于某种自然灾害而完全停机,所以另一个集群不会受到影响。
如果您决定使用单个 zookeeper quorum,则需要提及不同的 zookeeper.znode.parent 来维护两个集群的数据。更多详情也可以参考Apache document on Hbase Replication deployment
【讨论】:
以上是关于Hbase 多数据中心复制-Zookeeper的主要内容,如果未能解决你的问题,请参考以下文章
在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase
Zookeeper的基本原理(zk架构zk存储结构watch机制独立安装zk集群间同步复制)
hbase里的hlog存在哪?regionserver里还是zookeeper里?
优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化
优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化