在Kafka Connect中，如何连接多个kafka集群？

Posted 2023-03-23

【中文标题】在Kafka Connect中，如何连接多个kafka集群？

【英文标题】：In Kafka Connect, how to connect with multiple kafka clusters?

【发布时间】：2021-07-29 10:57:10

【问题描述】：

我将 kafka 连接集群设置为分布式模式，我想获得与多个 kafka 集群的连接，而不仅仅是多个代理。 可以在connect-distributed.properties 中使用bootstrap.servers 设置目标代理。 因此，首先，我从 kafka-cluster-A 设置 broker1，如下所示：

bootstrap.servers=broker1:9092

当然，效果很好。

然后，我从 kafka-cluster-B 添加了 broker2，如下所示：

bootstrap.servers=broker1:9092,broker2:9092

因此，这两个代理位于不同的集群中。 这根本不起作用。 没有任何错误，它只是卡住了，并且没有像通过 REST API 创建连接器这样的请求得到答复。

如何连接多个 kafka 集群？

【参考方案1】：

据我所知，您只能将 Kafka Connect 工作程序连接到一个 Kafka 集群。

如果您想使用 Kafka Connect 处理不同集群上的数据，请运行多个 Kafka Connect 工作进程。

【讨论】：

谢谢！决定使用 ReplicatorSourceConnector 从多个 kafka 集群中摄取数据。使用这个连接器，我可以将主题从多个不同的集群复制到我自己的 kafka 集群，然后接收连接器使用这些复制的。所以，kafka connect 集群只连接我的 kafka 集群。