Kafka 代理正常关闭,错误的元数据被传递到 Kafka 连接客户端
Posted
技术标签:
【中文标题】Kafka 代理正常关闭,错误的元数据被传递到 Kafka 连接客户端【英文标题】:A Kafka broker is gracefully shutdown, and incorrect metadata was passed to the Kafka connect client 【发布时间】:2020-09-11 14:53:46 【问题描述】:为了维护服务器,20 个代理中的一个被正常关闭,但所有 kafka-connect 集群(接收器)都因以下 NPE 错误而死亡。所有主题的复制因子都大于2,有50个主题和200个分区。检查错误和Kafka库源代码,似乎是Connect客户端缓存了从broker接收到的包括broker节点id集和分区信息集信息在内的元数据时发生的错误。
这种情况怎么会发生,将来如何处理? (Broker and Client版本为v2.3.1)
【问题讨论】:
【参考方案1】:这是一个错误。 Connect 集群不应受到代理关闭的负面影响,也不应引发 NPE。
请在https://issues.apache.org/jira/projects/KAFKA/issues/ 中开票。最好将堆栈跟踪粘贴为文本而不是图像。
【讨论】:
谢谢。我创建了 jira (issues.apache.org/jira/browse/KAFKA-10039)以上是关于Kafka 代理正常关闭,错误的元数据被传递到 Kafka 连接客户端的主要内容,如果未能解决你的问题,请参考以下文章