Kafka mongo db源连接器不起作用

Posted 2023-03-23

【中文标题】Kafka mongo db源连接器不起作用

【英文标题】：Kafka mongo db source connector not working

【发布时间】：2021-08-18 12:29:36

【问题描述】：

您好，在我的 POC 中，我同时使用接收器和源 mongodb 连接器。 接收器连接器工作正常。但是源连接器不会将数据推送到结果主题中。目标是在集合调用“请求”中推送所有更改（插入和更新）的完整文档。

下面是代码。

curl -X PUT http://localhost:8083/connectors/source-mongodb-request/config -H "Content-Type: application/json" -d '
      "tasks.max":1,
      "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
      "key.converter":"org.apache.kafka.connect.storage.StringConverter",
      "value.converter":"org.apache.kafka.connect.storage.StringConverter",
      "connection.uri":"mongodb://localhost:27017",
      "pipeline":"[]",
      "database":"proj",
      "publish.full.document.only":"true",
      "collection":"request",
      "topic.prefix": ""
'

没有消息被推送到 proj.request 主题。一旦我在集合“请求”中插入一条记录，就会创建主题。

在这方面获得帮助会很棒，因为它是 POC 的成败任务。 在融合云上的连接器上一切正常。但它是我需要让它工作的本地设置。

【问题讨论】：

你能显示任何显示其不工作的日志或状态 API 端点吗？您还应该提前为源连接器创建主题，而不是依赖主题默认设置

【参考方案1】：

确保您有一个有效的管道 - 属性文件中包含的阶段，例如这个

"管道":" ["$match":"type":"$in"["insert","update","re​​place"]]",

参考：https://docs.mongodb.com/manual/reference/operator/aggregation-pipeline/