Kafka Source Connect - 列白名单

Posted

技术标签:

【中文标题】Kafka Source Connect - 列白名单【英文标题】:Kafka Source Connect - Column WhiteListing 【发布时间】:2020-07-15 15:58:18 【问题描述】:

我们可以将 kafka 连接器中的源列列入白名单而不是将列列入黑名单吗?我正在使用 kafka connect with debezium 从 SQL Server 获取 CDC 更改。

【问题讨论】:

【参考方案1】:

很遗憾你不能。

对于 SQL Server(和任何关系连接器),数据库、架构和表都可以指定为白名单或黑名单配置设置。不幸的是,列只允许作为黑名单。

对于 MongoDB(非关系连接器),数据库和集合都可以指定为白名单或黑名单配置设置。不幸的是,字段只允许作为黑名单。

【讨论】:

Naros,感谢您的回复。在处理关系数据库的源连接器时,我需要您的建议,其中模式更改正在我们的源中发生。如果任何财产都可以在这种情况下工作。我希望尽快收到您的回复。 架构演进见debezium.io/documentation/reference/1.1/connectors/…

以上是关于Kafka Source Connect - 列白名单的主要内容,如果未能解决你的问题,请参考以下文章

Kafka Connect JDBC Source MySQL 全量同步

如何在 Kafka Connect JDBC Source 连接器中添加显式 WHERE 子句

Kafka Connect - 无法提交偏移量和刷新

使用 mongodb-source-connect 时出现“仅在副本集上支持 $changeStream 阶段”错误

如何在从 debezium kafka connect 收到的 CDC 事件中获取表名和数据库名

Debezium Kafka 连接器 mongodb:将 kafka 连接器连接到 mongodb 时出错