实战Kafka之异地双活--MirrorMaker1.0
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了实战Kafka之异地双活--MirrorMaker1.0相关的知识，希望对你有一定的参考价值。
参考技术A 异地灾备可以防止一个机房出现灾难而导致整个系统无法提供服务的问题。异地双活在异地灾备的基础上减少了数据的冗余，并且提高了对数据双向同步及同步实时性的要求。
Kafka作为在双活中扮演了很重要的角色，一方面是两个区域的正常业务的消息数据分发、另一方面则是elasticsearch等中间件集群的双活方案有时需要依赖kafka的双活。那么在保证实时性的前提下做好kafka的双活呢？下面博主抛砖引玉给出自己实现的基于Kafka自带组件Mirror-Maker的两种方案，读者可以根据自己需要进行改进。
MirrorMaker是Kafka官方提供的用来做跨机房同步的组件。在kafka的安装目录的bin目录下有一个kafka-mirror-maker.sh文件就是MirrorMaker的入口。
对于问题2的解决办法：
2、对于没有加密的kafka请使用xiao5aha/mirror-maker:v9版本
KafkaKafka 镜像 Kafka mirroring (MirrorMaker)
1.概述
Kafka的镜像特性使得维护一个现有Kafka集群的副本成为可能。下图展示了如何使用MirrorMaker工具将一个源Kafka集群镜像到一个目标(镜像)Kafka集群。该工具使用一个Kafka消费者来消费来自源集群的消息，并使用一个嵌入式的Kafka生产者将这些消息重新发布到本地(目标)集群。
也有关于镜像制造者的文档 文档
2.如何设置镜子
设置镜像很简单——在启动目标集群后，只需启动镜像制造者进程。至少，镜像制造者有一个或多个消费者配置，一个生产者配置和一个白名单或黑名单。你需要将消费者指向源集群的ZooKeeper，将生产者指向镜像集群的ZooKeeper(或者使用代理。参数列表)。
bin/kafka-mirror以上是关于实战Kafka之异地双活--MirrorMaker1.0的主要内容，如果未能解决你的问题，请参考以下文章