什么是Kafka经纪人日志中此错误的含义？

Posted 2021-04-26

这个错误是什么意思？

无法在kafka代理中为流应用程序分区添加错误？

每当我启动我的kafka流应用程序时，我都会看到太多这些错误。这个错误意味着什么，我该如何解决这个问题？

答案

这是卡夫卡的一个已知问题。它与https://issues.apache.org/jira/browse/KAFKA-7190和https://issues.apache.org/jira/browse/KAFKA-6817有关。

https://github.com/apache/kafka/blob/646ec948794c927e4ffa5f96d60b5b9f7fe8f228/core/src/main/scala/kafka/server/ReplicaManager.scala#L782

另一答案

这是一个已知的错误，将通过https://cwiki.apache.org/confluence/display/KAFKA/KIP-360%3A+Improve+handling+of+unknown+producer解决

你不能做太多，但需要等待修复。

问题是，Kafka Streams从重新分区主题中主动删除数据（cf https://issues.apache.org/jira/browse/KAFKA-6150），因此增加保留时间无济于事 - 实际上，Kafka Streams已经使用retention.ms=MAX_VALUE配置了重新分区主题。

你唯一能做的就是为重新分配主题增加主题配置segment.bytes和segment.ms配置。使段更大可以减少事务生成器状态丢失的可能性，因为活动段不受活动数据清除的影响，因此数据会保留更长时间。