具有自定义消费者组名称的 Kafka Sink 连接器

Posted 2023-03-23

【中文标题】具有自定义消费者组名称的 Kafka Sink 连接器

【英文标题】：Kafka Sink Connector with custom consumer-group name

【发布时间】：2021-10-26 15:12:11

【问题描述】：

在kafka connect中，所有的sink连接器都会使用不同的组，命名转换为connect-connector_name。但我想使用自定义名称作为前缀。（我们可以在接收器配置中做 - name properties，但要寻找默认设置）

我尝试在consumer.properties 文件中设置它，但没有用。

有人知道它是怎么设置的吗？另外，如果我为所有接收器连接器设置一个组会怎样？

【参考方案1】：

Sink 任务的 ConsumerConfig group.id 总是有 connect- 前缀

https://issues.apache.org/jira/browse/KAFKA-4400

---

consumer.properties 用于（可选）kafka-console-consumer，而不是 Connect API

---

如果我为所有接收器连接器设置一个组会发生这种情况？

你的意思是一个连接器和一个name？然后你会希望tasks.max 等于它所使用的所有主题的总分区。

如果您的意思是多个连接器，那么您不能；同一个 Connect 集群中的所有连接器都需要一个唯一的 name/connector.class 对