KafkaKafka 镜像 Kafka mirroring (MirrorMaker)

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KafkaKafka 镜像 Kafka mirroring (MirrorMaker)相关的知识,希望对你有一定的参考价值。

1.概述

Kafka的镜像特性使得维护一个现有Kafka集群的副本成为可能。下图展示了如何使用MirrorMaker工具将一个源Kafka集群镜像到一个目标(镜像)Kafka集群。该工具使用一个Kafka消费者来消费来自源集群的消息,并使用一个嵌入式的Kafka生产者将这些消息重新发布到本地(目标)集群。

也有关于镜像制造者的文档 文档

2.如何设置镜子

设置镜像很简单——在启动目标集群后,只需启动镜像制造者进程。至少,镜像制造者有一个或多个消费者配置,一个生产者配置和一个白名单或黑名单。你需要将消费者指向源集群的ZooKeeper,将生产者指向镜像集群的ZooKeeper(或者使用代理。参数列表)。

bin/kafka-mirror

以上是关于KafkaKafka 镜像 Kafka mirroring (MirrorMaker)的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之KafkaKafka概述Kafka快速入门Kafka架构深入

大数据技术之KafkaKafka概述Kafka快速入门Kafka架构深入

大数据技术之KafkaKafka概述Kafka快速入门Kafka架构深入

kafkakafka 2.3 版本的kafka topic 分区扩容

基于Ubuntu安装部署ZooKeeper

kafkaKafka 幂等 Producer