Springboot中kafka解决数据重复消费问题

Posted 2023-03-30 小王同鞋

原因：

消费者处理比较耗时，一次poll的数据，在max.poll.interval.ms达到最大值后仍未完成，未提交offest，默认值为5分钟。

解决办法

1.提高max.poll.interval.ms的值。

Ⅰ.使用springboot自动配置方式

spring:
  kafka:
    bootstrap-servers: 127.0.0.1:9092
    #分号不能去
    consumer:
      auto-offset-reset: latest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 值的反序列化方式
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      max:
        poll:
          interval:
            ms: 60000*50  

Ⅱ.使用自定义配置kafkaConfig则在消费者配置部分添加

 2.自定义逻辑去重。

kafka重复消费数据，内含福利

Dubbo面试专题

JVM面试专题

Java并发面试专题

Kafka面试专题

MongDB面试专题

MyBatis面试专题

MySQL面试专题

Netty面试专题

RabbitMQ面试专题

Redis面试专题

Spring Cloud面试专题

SpringBoot面试专题

zookeeper面试专题

最后

我还通过一些渠道整理了一些大厂真实面试主要有：蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。

资料领取方式：戳这里免费下载

还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。

缓存、消息中间件、源码等相关面试题。**

[外链图片转存中…(img-bEH0Uzik-1625945833772)]