kafkakafka 数据重复的一个 案例

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafkakafka 数据重复的一个 案例相关的知识,希望对你有一定的参考价值。

文章目录


1.概述

有人问我

假如有一个tp叫做小乌龟,12个分区,单个进程请求,一次poll60条记录,10ms消费完了,设置了自动提交,时间是5s。那我下次poll的时候一定会重复吧?刚才做了这个实验,发现并没有重复,有点疑惑。

然后我就测试了一下

/**
     * 测试点:假如有一个tp叫做小乌龟,12个分区,单个进程请求,一次poll60条记录,10ms消费完了,设置了自动提交,
     *   时间是5s。那我下次poll的时候一定会重复吧?刚才做了这个实验 发现并没有重复,有点疑惑。
     *
     * 测试结果:
     *  我第一次启动,消费5个数据后,立马关闭程序,还没到10秒提交消费组的时候
     *  然后第二次启动消费组就重新消费了
     *
     * @throws InterruptedException
     

以上是关于kafkakafka 数据重复的一个 案例的主要内容,如果未能解决你的问题,请参考以下文章

kafkakafka 消费组 加入 离开 reblance 案例

大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题

大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题

大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题

大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题

kafkaKafka消息压缩与解压与相关实验