kafka文件存储机制

Posted 郭慕荣博客园

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka文件存储机制相关的知识,希望对你有一定的参考价值。

1.index为稀疏索引,大约每往log文件写入4kb数据,会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。
2.Index文件中保存的offset为相对offset,这样能确保offset的值所占空间不会过大, 因此能将offset的值控制在固定大小

文件清理策略
Kafka 中默认的日志保存时间为 7 天,可以通过调整如下参数修改保存时间。

  • log.retention.hours,最低优先级小时,默认7天。
  • log.retention.minutes,分钟。
  • log.retention.ms,最高优先级毫秒。
  • log.retention.check.interval.ms,负责设置检查周期,默认5分钟。 那么日志一旦超过了设置的时间,怎么处理呢?

Kafka 中提供的日志清理策略有 delete 和 compact 两种。
1)delete 日志删除:将过期数据删除
log.cleanup.policy = delete 所有数据启用删除策略
(1)基于时间:默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。 (2)基于大小:默认关闭。超过设置的所有日志总大小,删除最早的 segment。
log.retention.bytes,默认等于-1,表示无穷大。

 

以上是关于kafka文件存储机制的主要内容,如果未能解决你的问题,请参考以下文章

Kafka文件存储机制

kafka文件存储机制

Kafka的存储机制以及可靠性

Kafka文件存储机制那些事

转 Kafka文件存储机制那些事

Kafka 的存储机制以及可靠性