如何配置我的连接器以在分布式 kafka 连接的多集群连接环境中的特定工作组中运行？

Posted 2023-03-23

【中文标题】如何配置我的连接器以在分布式 kafka 连接的多集群连接环境中的特定工作组中运行？

【英文标题】：How can I configure my connector to run in specific worker group in multicluster connect environment in distributed kafka connect?

【发布时间】：2021-10-17 10:02:04

【问题描述】：

根据文档，工作服务设置为在添加连接器之前运行。假设我在三个分布式虚拟机上运行 group.id "cluster-a" 的 worker-a 和 group.id "cluster-b" 的 worker-b。使连接器选择其工作组的配置是什么。

假设我需要将 debezium mysql 连接器的任务配置为在 cluster-a 上运行，而 jdbc 连接器的所有任务在 cluster-b 上运行。我该怎么做？

提前致谢。

【参考方案1】：

group.id 指定的每个连接器组通过它们的rest.advertised.listener（类似于代理）通过 HTTP 相互通信。每个 Connect 集群还需要自己独特的配置、偏移量和状态主题

您将 HTTP POST 发送到组的 rest.port 端点之一，任务将分布在该组内

但是，如果您只有 3 台机器，则确实不需要设置两个唯一的 Connect 集群（JDBC 和 Debezium 任务可以在同一个集群中运行）