KafkaKafka版本的 watermark 迟来的消息 直接报错

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KafkaKafka版本的 watermark 迟来的消息 直接报错相关的知识,希望对你有一定的参考价值。

文章目录


1.概述

今天偶然看到kafka还有这个配置:message.timestamp.difference.max.ms。这个配置的意思如下

太久的消息不被 kafka接收

broker接收消息时的时间戳与消息中指定的时间戳之间允许的最大差异。如果message.timestamp。type=CreateTime,如果时间戳的差异超过这个阈值,消息将被拒绝。如果message.timestamp.type=LogAppendTime,则忽略此配置。

 /**
     * 优化点:
     * 太久的消息不被 kafka接收
     * broker接收消息时的时间戳与消息中指定的时间戳之间允许的最大差异。如果message.timestamp。type=CreateTime,
     * 如果时间戳的差异超过这个阈值,消息将被拒绝。如果message.timestamp.type=LogAppendTime,

以上是关于KafkaKafka版本的 watermark 迟来的消息 直接报错的主要内容,如果未能解决你的问题,请参考以下文章

kafkakafka 2.3 版本的kafka topic 分区扩容

kafkakafka 0.10以及1.x版本的kafka topic 分区扩容

Apache KafkaKafka安装及简单示例

kafkakafka offset 的存储 (存储zookeeper 与 存储 kafka)

Flink 1.11+ 版本如何生成 Watermark

Flink 1.11+ 版本如何生成 Watermark