kafka学习

Posted 2020-11-20 seeasunnyday

　　　　　　　　　　　　跨集群数据镜像

 

跨集群镜像的使用场景

1.区域集群和中心集群

2.冗余，发生紧急情况下使用第二个集群，保存相同的数据。

3.云迁移

 

多集群架构

 

跨集群中心通信的一些现实情况

1.高延迟

2.有限的宽带

3.高成本

 

hub和spoke架构

这种架构适用于一个中心kafka集群对应多个本地kafka集群的情况。

 

双活架构，集群交互过多

 

主备架构 常见的故障转移

 

延展集群

 

kafka集群消息复制工具mirrorMaker

kafka提供了一个简单的工具，用于在两个数据中心之间镜像数据。 mirrorMaker为每个消费者分配一个线程，消费者从源集群的主题和分区上读取数据，然后通过公共生产者将数据发送到目标集群上。

 

如何配置

mirrorMaker是高度可配置的。

consumer.config 该参数用于指定消费者的配置文件。

producer.config 该参数用于指定生产者的配置文件

new.consumer

num.starams 一个流就是一个消费者。

 

whitelist 这是一个正则表达式，代表了需要进行镜像的主题名字。

 

mirrorMaker 调优这个去看kafka官方对几个配置设置

 

但是mirrorMaker 是kafka提供的 但是并不能满足一些要求。

 

这里还有其他解决方案，如优步uRelicator ,confluent的Replicator