kafka auto.offset.reset / latest / earliest 详解

Posted 二十六画生的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka auto.offset.reset / latest / earliest 详解相关的知识,希望对你有一定的参考价值。

auto.offset.reset关乎kafka数据的读取,是一个非常重要的设置。常用的二个值是latest和earliest,默认是latest。

一,latest和earliest区别

1,earliest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费

2,latest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据

提交过offset,latest和earliest没有区别,但是在没有提交offset情况下,用latest直接会导致无法读取旧数据。

参考 https://www.cnblogs.com/xiohao/p/12774526.html

以上是关于kafka auto.offset.reset / latest / earliest 详解的主要内容,如果未能解决你的问题,请参考以下文章

kafka的auto.offset.reset详解与测试

kafka auto.offset.reset / latest / earliest 详解

kafka之consumer参数auto.offset.reset 0.10+

kafka auto.offset.reset latest earliest 详解

kafkakafka 消费速度 于 日志清理速度 (kafka数据被清理了)会发生什么 auto.offset.reset 参数

关于Kafka的其他一些内容,堆积情况,retention,auto.offset.reset