找出 Kafka Message 版本

Posted

技术标签:

【中文标题】找出 Kafka Message 版本【英文标题】:Find out Kafka Message version 【发布时间】:2019-05-08 21:55:16 【问题描述】:

0.10.1.1 代理上的默认 server.properties 没有明确定义 log.message.format.version。即使它应该是相同的 Kafka API 版本;有没有办法找到它?

【问题讨论】:

【参考方案1】:

如果没有在代理属性文件中明确定义,则log.message.format.version 将匹配代理版本。

您可以从每个版本的配置文档中看到这一点。例如对于 0.10.1.1,根据0.10.1 docs 是0.10.1-IV2

仔细检查的一种方法是查看代理日志。启动时,代理会转储其配置,包括属性文件中未覆盖的设置。

在你的情况下应该包括log.message.format.version=0.10.1-IV2

【讨论】:

谢谢。是的,我看到了,但有没有办法确定它是 版本在工作? 我们正在迁移到更高的代理版本 (0.10.1.1 -> 2.0.X) 到不同的新机器。我想弄清楚,如果我将消息从旧机器复制到具有更高代理版本的新机器,那是否可行?或者还有什么方法?我需要保留消息订购。请问有什么想法吗? 谢谢,会检查并接受。是否有可能在我的第二条评论上帮助我?如果你愿意,我可以创建一个问题? 您的第二条评论是一个完全不同的问题。恐怕,您没有提供足够的详细信息来解释您要做什么,我无法准确回复。随时提交更多详细信息的另一个问题 谢谢迈克。发布于***.com/questions/53667042/kafka-message-migration

以上是关于找出 Kafka Message 版本的主要内容,如果未能解决你的问题,请参考以下文章

ELK同步kafka带有key的Message

kafkakafka DefaultRecordBatch. The older message format classes only support conversion from class(代

kafka web console,实时查看kafka message

KafkaKafka版本的 watermark 迟来的消息 直接报错

KIP-32 Add timestamps to Kafka message

kafka consumer 配置详解