每个模式的 JDBC Confluent kafka 连接器和主题

Posted 2023-03-22

【中文标题】每个模式的 JDBC Confluent kafka 连接器和主题

【英文标题】：JDBC Confluent kafka Connector and Topic per schema

【发布时间】：2018-09-14 14:41:14

【问题描述】：

我们最近开始使用 Confluent Kafka-JDBC 连接器来导入 RDBMS 数据。

作为默认配置设置的一部分，似乎为架构中的每个表创建了一个主题。

我想知道有没有办法

按架构创建主题，而不是每个表。如果启用了每个模式的主题，那么是否可以基于表支持模式演化（使用模式注册表）？

如果每个模式的主题是不可能的，那么是否有关于如何管理数百或数千个主题的指南？考虑到表格数量与主题数量之间存在一对一的映射关系？

提前致谢，

【参考方案1】：

为每个模式而不是每个表创建主题。

不 - 它要么是 n 个表 -> n 个主题，要么是 1 个查询 -> 1 个主题。

关于如何管理数百或数千个主题的任何指南？

为它们采用标准命名模式。根据需要使用特定于主题的配置。

【讨论】：

如果 Zookeeper 拥有关于模式注册表的元数据，它可以管理数千个主题吗？由于主题数以千计，Zookeeper 节点故障的恢复是否需要更多时间？上述问题是否有任何注意事项？