将 Kafka 连接 MongoDB 连接器注册为 SCDF 中的应用程序

Posted 2023-03-23

【中文标题】将 Kafka 连接 MongoDB 连接器注册为 SCDF 中的应用程序

【英文标题】：Register Kafka connect MongoDB connectors as apps in SCDF

【发布时间】：2021-12-27 07:42:12

【问题描述】：

我会直奔主题：

是否可以将 MongoDB Kafka 接收器和源连接器注册为 Spring Cloud Data Flow 中的应用程序？还是其他类型的 Kafka 连接器？

MongoDB Kafka 源连接器需要将 MongoDB 配置为副本集集群才能读取 opLog 中的更改流（独立的 MongoDB 实例无法生成更改流）。 SCDF MongoDB 源启动器是否使用 MongoDb 集群的更改流来检测更改事件？还是直接从 MongoDB 数据库读取更改？

谢谢

【问题讨论】：

Kafka Connect 和 SCDF 是相互竞争的框架，不是可以集成的东西

【参考方案1】：

我们已经研究过将 Spring Cloud Stream 与 Kafka 连接器集成。如果没有自定义代码，就没有简单的方法可以做到这一点。正如您所描述的，我们有一个可与 MongoDB 配合使用的变更数据捕获源：https://github.com/spring-cloud/stream-applications/blob/main/functions/supplier/cdc-debezium-supplier/README.adoc