Kafka 代理正常关闭,错误的元数据被传递到 Kafka 连接客户端

Posted

技术标签:

【中文标题】Kafka 代理正常关闭,错误的元数据被传递到 Kafka 连接客户端【英文标题】:A Kafka broker is gracefully shutdown, and incorrect metadata was passed to the Kafka connect client 【发布时间】:2020-09-11 14:53:46 【问题描述】:

为了维护服务器,20 个代理中的一个被正常关闭,但所有 kafka-connect 集群(接收器)都因以下 NPE 错误而死亡。所有主题的复制因子都大于2,有50个主题和200个分区。检查错误和Kafka库源代码,似乎是Connect客户端缓存了从broker接收到的包括broker节点id集和分区信息集信息在内的元数据时发生的错误。

这种情况怎么会发生,将来如何处理? (Broker and Client版本为v2.3.1)

【问题讨论】:

【参考方案1】:

这是一个错误。 Connect 集群不应受到代理关闭的负面影响,也不应引发 NPE。

请在https://issues.apache.org/jira/projects/KAFKA/issues/ 中开票。最好将堆栈跟踪粘贴为文本而不是图像。

【讨论】:

谢谢。我创建了 jira (issues.apache.org/jira/browse/KAFKA-10039)

以上是关于Kafka 代理正常关闭,错误的元数据被传递到 Kafka 连接客户端的主要内容,如果未能解决你的问题,请参考以下文章

kafka 发送数据,如何确定partition源码解释

kafka传递消息的三种方式

即使存在日志,Kafka经纪人也会关闭

启动多个 kafka 代理失败

Kafka - 在 Linux 和 Windows 之间创建代理侦听器时出错

kafka系列 -- 基础概念