Kafka 连接（Debezium mysql 连接器）只监听 table.include.list 中的特定表

Posted 2023-03-23

【中文标题】Kafka 连接（Debezium mysql 连接器）只监听 table.include.list 中的特定表

【英文标题】：Kafka connect (Debezium mysql connector ) only listening to specific table in table.include.list

【发布时间】：2021-07-27 13:41:25

【问题描述】：

我正在使用 debezium 连接器读取数据库中的数据写入，然后将其发送到 kafka 以供 kafka 消费者使用。我在 table.include.list 中指定了三个表，但它只监听第一个表的变化。这是我在 kafka connect 中使用的配置：

connector.class=io.debezium.connector.mysql.MySqlConnector
database.user=root
topic.creation.default.partitions=3
database.server.id=184092
tasks.max=1
database.history.kafka.bootstrap.servers=kafka:9092
database.history.kafka.topic=history_dev2.test
database.server.name=test_name
database.port=3306
database.hostname=localhost
database.password=root
topic.creation.default.replication.factor=1
table.include.list=test.t1,test.t2,test.t3
database.include.list=test

【问题讨论】：

最好仔细检查您在此处发布的内容。如果您共享配置，请使用 database.password=*** :) 我认为它看起来像一个测试服务器，所以没有问题。 Achyut Vyas 的答案似乎很有效。另外，也许您需要转义正则表达式中的点。

【参考方案1】：

您必须在 table.include.list 属性中添加正则表达式

例如

table.include.list=^(test.)((t1)|(t2)|(t3))$