Debezium Kafka Connect需要重启才能使PostgreSQL cdc正常工作

Posted 2021-03-19

我正在尝试使用debezium kafka通过以下设置连接cdc：

• Zookeeper
• 卡夫卡
• PostgreSQL
• [Kafka Connect Debezium

我也在按此顺序配置和启动它们。

启动Kafka Connect Debezium之后，我要进行POST进行配置：

{
  "name": "postgres-boxes-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "172.17.0.4",
    "database.port": "5432",
    "database.user": "postgres",
    "database.password": "postgres",
    "database.dbname" : "postgres",
    "database.server.name": "fullfillment",
    "table.whitelist": "public.boxes"
  }
}

启动观察器后，我看到以下警告/错误：

WARN [Consumer clientId=consumer-1, groupId=console-consumer-53726] Error while fetching metadata with correlation id 2 : {fullfillment.public.boxes=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

现在，当我重新启动Kafka Connect Debezium时，一切正常，没有错误，并且cdc正常工作。

我现在试图弄清楚为什么必须重新启动Kafka Connect才能使其正常运行，希望可以避免它。如果需要更多信息，我很乐意提供更多信息。

答案

您必须重新启动工作程序才能安装连接器插件。除此之外，无需重新启动Connect worker即可使连接器正常工作。

这只是您看到的WARN，这意味着任务将继续执行。当创建一个新主题时，通常会看到LEADER_NOT_AVAILABLE-然后创建它（如果连续看到LEADER_NOT_AVAILABLE并且它没有停止，则表明该主题尚未自动创建，您可能需要创建它手动）。