Spring Kafka 项目的 Debezium 发件箱错误

Posted

技术标签:

【中文标题】Spring Kafka 项目的 Debezium 发件箱错误【英文标题】:Debezium Outbox Error for Spring Kafka Project 【发布时间】:2021-04-01 21:14:31 【问题描述】:

我正在尝试使用 Docker 容器在 Spring 中使用 Kafka 连接器连接 2 个微服务。

有关项目详情,请参阅此Gitlab link。

我在 Spring 中有 2 个容器。

    s1-pledgeservice s1-donorservice

首先,我需要运行s1-pledgeservice(通过相应项目文件夹中的startup.sh),它工作正常。

其次,我运行第二步,当我运行s1-donorservice(通过相应项目文件夹中的startup.sh)时,它工作正常。

第三,当我在s1-pledgeservice中运行./register_connectors.sh时,出现如下错误:


  "error_code": 400,
  "message": "Connector configuration is invalid and contains the following 2 error(s):
         \nInvalid value io.debezium.transforms.Filter for configuration transforms.outbox.type: Class io.debezium.transforms.Filter could not be found.
         \nInvalid value null for configuration transforms.outbox.type: Not a Transformation\nYou can also find the above list of errors at the endpoint `/connector-plugins/connectorType/config/validate`"


运行 s1-pledge-service 会出现以下异常:

kafka-connect    | 2020-12-23 08:16:43,906 ERROR  ||  Uncaught exception in REST call to /connectors/   [org.apache.kafka.connect.runtime.rest.errors.ConnectExceptionMapper]
kafka-connect    | javax.ws.rs.NotAllowedException: HTTP 405 Method Not Allowed

是否需要 debezium 过滤器 pom.xml 依赖项?

请注意,我在 WSL2 中从 Debian 发行版运行 Docker。

【问题讨论】:

【参考方案1】:

在我看来,您使用的是 Debezium 1.1.2,而您尝试使用的转换仅在 1.2.x 中添加。

【讨论】:

以上是关于Spring Kafka 项目的 Debezium 发件箱错误的主要内容,如果未能解决你的问题,请参考以下文章

使用 gradle 进行单元测试的 Debezium kafka 测试集群

带有 kafka 的 Debezium 还是只有嵌入式 Debezium?

Kafka Connect Debezium postgres

Debezium系列之:debezium把sqlserver数据库多张表的数据发送到一个kafka topic

Kafka乱码——中文单词在debezium中变成乱码

Kafka Connect:使用 debezium 从 Postgres 流式传输更改到主题