kafkakafka log 存储时间 小于 offset 存储时间 offset存在但是消费不到

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafkakafka log 存储时间 小于 offset 存储时间 offset存在但是消费不到相关的知识,希望对你有一定的参考价值。

文章目录


1.概述

在文章 【kafka】kafka 消费速度 小于 日志清理速度 (kafka数据被清理了)会发生什么 auto.offset.reset 参数 中我们知道了,数据消费慢于清理时间会自动重置offset.

看下面这个现象。

首先设置kafka配置如下

offset.metadata.max.bytes=4096
offsets.commit.required.acks=-1
offsets.commit.timeout.ms=180000
offsets.load.buffer.size=

以上是关于kafkakafka log 存储时间 小于 offset 存储时间 offset存在但是消费不到的主要内容,如果未能解决你的问题,请参考以下文章

kafkakafka topic Dump log

KafkaKafka Log compaction 介绍

KafkaKafka日志管理

KafkaKafka在ZooKeeper中的存储

11.2树的一些运用(Applications of Trees)

kafkakafka offset 的存储 (存储zookeeper 与 存储 kafka)