kafka从头消费数据

Posted shining5

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka从头消费数据相关的知识,希望对你有一定的参考价值。

从头消费数据需满足两个条件:

1. groupid为新的

2. auto_offset_reset_config的值为earliest

 

        Properties p = new Properties();
        p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");
        p.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        p.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        p.put(ConsumerConfig.GROUP_ID_CONFIG, "abcdefg");
        p.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");
        p.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer");
        p.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer");

  

以上是关于kafka从头消费数据的主要内容,如果未能解决你的问题,请参考以下文章

kafak消费者从头开始消费(消费者组)

Flink消费kafka(动态拉取topic + 正则匹配多个topic)

Flink实战系列Flink 1.14.0 消费 kafka 数据自定义反序列化器

kafka消费者和offset的关系,以及异常处理问题

kafka重复消费的原因

Kafka-文件管理