KafkaKafka版本的 watermark 迟来的消息 直接报错
Posted 九师兄
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KafkaKafka版本的 watermark 迟来的消息 直接报错相关的知识,希望对你有一定的参考价值。
文章目录
1.概述
今天偶然看到kafka还有这个配置:message.timestamp.difference.max.ms
。这个配置的意思如下
太久的消息不被 kafka接收
broker接收消息时的时间戳与消息中指定的时间戳之间允许的最大差异。如果message.timestamp。type=CreateTime,如果时间戳的差异超过这个阈值,消息将被拒绝。如果message.timestamp.type=LogAppendTime
,则忽略此配置。
/**
* 优化点:
* 太久的消息不被 kafka接收
* broker接收消息时的时间戳与消息中指定的时间戳之间允许的最大差异。如果message.timestamp。type=CreateTime,
* 如果时间戳的差异超过这个阈值,消息将被拒绝。如果message.timestamp.type=LogAppendTime,
以上是关于KafkaKafka版本的 watermark 迟来的消息 直接报错的主要内容,如果未能解决你的问题,请参考以下文章
kafkakafka 2.3 版本的kafka topic 分区扩容
kafkakafka 0.10以及1.x版本的kafka topic 分区扩容