kafkakafka 数据重复的一个 案例
Posted 九师兄
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafkakafka 数据重复的一个 案例相关的知识,希望对你有一定的参考价值。
文章目录
1.概述
有人问我
假如有一个tp叫做小乌龟,12个分区,单个进程请求,一次poll60条记录,10ms消费完了,设置了自动提交,时间是5s。那我下次poll的时候一定会重复吧?刚才做了这个实验,发现并没有重复,有点疑惑。
然后我就测试了一下
/**
* 测试点:假如有一个tp叫做小乌龟,12个分区,单个进程请求,一次poll60条记录,10ms消费完了,设置了自动提交,
* 时间是5s。那我下次poll的时候一定会重复吧?刚才做了这个实验 发现并没有重复,有点疑惑。
*
* 测试结果:
* 我第一次启动,消费5个数据后,立马关闭程序,还没到10秒提交消费组的时候
* 然后第二次启动消费组就重新消费了
*
* @throws InterruptedException
以上是关于kafkakafka 数据重复的一个 案例的主要内容,如果未能解决你的问题,请参考以下文章
kafkakafka 消费组 加入 离开 reblance 案例
大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题
大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题
大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题