Debezium Kafka 连接器 mongodb

Posted

技术标签:

【中文标题】Debezium Kafka 连接器 mongodb【英文标题】:Debezium Kafka connector mongodb 【发布时间】:2019-07-22 12:37:14 【问题描述】:

有没有办法向kafka连接器指定mongo上的哪些操作应该考虑。实际上,我不希望 kafka 在删除 mongo 文档时做任何事情(应该考虑更新和插入新文档)。 谢谢

【问题讨论】:

【参考方案1】:

您可以编写一个可以过滤掉不需要的操作的 SMT (https://cwiki.apache.org/confluence/display/KAFKA/KIP-66%3A+Single+Message+Transforms+for+Kafka+Connect)。一个示例是删除 delete 记录摘自此 SMT - https://github.com/debezium/debezium-examples/blob/master/outbox/event-routing-smt/src/main/java/io/debezium/examples/outbox/routingsmt/EventRouter.java#L44

【讨论】:

以上是关于Debezium Kafka 连接器 mongodb的主要内容,如果未能解决你的问题,请参考以下文章

Debezium 消息与 kafka-connect sink 连接器期望的格式兼容

无法在启用 SSL 的 Kafka 集群中注册 Debezium (Kafka-Connect) 连接器

如何设置 Kafka 连接器以在 Debezium 中使用自定义转换?

Debezium Kafka 连接器 mongodb

Debezium Kafka 连接器 mongodb:将 kafka 连接器连接到 mongodb 时出错

在远程 MSK kafka 集群上使用 kafka 连接 mongoDB debezium 源连接器