Kafka之Fetch offset xxx is out of range for partition xxx,resetting offset情况总结

Posted 2021-09-04 敲代码的小小酥

Kafka消费者出现这种日志，说明kafka消费者拉取的偏移量，在Kafka服务端没有，就会进行偏移量的重置。

为什么会没有偏移量呢？可能是因为该偏移量的数据删除了。也可能是因为程序里调用了seek方法，手动指定了偏移量，而这个偏移量在Kafka中还没有存储到数据，也会报out of range。

博主就是因为在负载均衡监听器中，获取consumer在kafka服务端的偏移量时，调用了consumer.commited()方法。该方法返回的就是下一个要拉取的偏移量，而在这里我又加了1。所以造成了out of range的情况出现。

出现out of range后，kafka会自动重置偏移量。针对上述的第一种out of range的情况，即偏移量数据丢失了。那么kafka会将偏移量自动重置到下一个有数据的偏移量上。例如,偏移量1-10中，3-5偏移量的数据丢失了。那么，kafka拉取到3时，会报out of range日志，此时kafka会将偏移量重置到6上。

而针对第二种情况的out of range。即超出了现有偏移量的范围，此时kafka会根据consumer设置的reset策略进行重置。如果设置的是earliest，则会重置到开头，重新消费。如果设置的是latest，则会重置到最近的一个有偏移量的地方。
所以，当我们设置为earliest时，且程序中调用seek手动设定偏移量时，如果偏移量计算不好，很容易造成从头开始消费的后果。针对这种情况，我们可以把reset属性设置成none。重置时抛出异常，来避免从头开始重复消费的后果。