Kafka文件存储机制

Posted 木易森林

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka文件存储机制相关的知识,希望对你有一定的参考价值。

一.topic中partition存储分布

  在本地的kafka中,我们只启动一个broker,创建两个topic:single-todo和single-todo-vip ,每个topic有两个partition,在${KAFKA_HOME}conf/server.properties中log.dirs=/tmp/kafka-logs。启动kafka后,我们在/tmp/kafka-log目录下看到一下文件夹:

drwxrwxr-x  2 ysl  ysl   4096 2月   1 11:52 single-todo-0/
drwxrwxr-x  2 ysl  ysl   4096 2月   1 11:52 single-todo-1/
drwxrwxr-x  2 ysl  ysl   4096 2月   1 11:52 single-todo-vip-0/
drwxrwxr-x  2 ysl  ysl   4096 2月   1 11:52 single-todo-vip-1/

  从上面我们可以看出,在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。

二.partiton中文件存储方式

  • 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等,这种特性方便old segment file快速被删除。
  • 每个partiton只需要支持顺序读写就行了,segment文件生命周期由服务端配置参数决定。

  这样做的好处就是能快速删除无用文件,有效提高磁盘利用率。

三.partiton中segment文件存储结构

  • segment file组成:由2大部分组成,分别为index file和data file,此2个文件一一对应,成对出现,后缀".index"和“.log”分别表示为segment索引文件、数据文件.
  • segment文件命名规则:partion全局的第一个segment从0开始,后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小,19位数字字符长度,没有数字用0填充。

  索引文件存储大量元数据,数据文件存储大量消息,索引文件中元数据指向对应数据文件中message的物理偏移地址。

  segment data file由许多message组成,下面详细说明message物理结构如下:

  

  

参数说明:

关键字解释说明
8 byte offset 在parition(分区)内的每条消息都有一个有序的id号,这个id号被称为偏移(offset),它可以唯一确定每条消息在parition(分区)内的位置。即offset表示partiion的第多少message
4 byte message size message大小
4 byte CRC32 用crc32校验message
1 byte “magic" 表示本次发布Kafka服务程序协议版本号
1 byte “attributes" 表示为独立版本、或标识压缩类型、或编码类型。
4 byte key length 表示key的长度,当key为-1时,K byte key字段不填
K byte key 可选
value bytes payload 表示实际消息数据。

 

四.在partition中如何通过offset查找message

  第一步查找segment file,以起始偏移量命名并排序这些文件,只要根据offset **二分查找**文件列表,就可以快速定位到具体文件。

  第二步根据元数据物理位置和xxxxxxxxx.log的物理偏移地址,然后再通过xxxxxxx.log顺序查找直到offset=x为止

 

五.总结

Kafka高效文件存储设计特点

  • Kafka把topic中一个parition大文件分成多个小文件段,通过多个小文件段,就容易定期清除或删除已经消费完文件,减少磁盘占用。
  • 通过索引信息可以快速定位message和确定response的最大大小。
  • 通过index元数据全部映射到memory,可以避免segment file的IO磁盘操作。
  • 通过索引文件稀疏存储,可以大幅降低index文件元数据占用空间大小。

 

以上是关于Kafka文件存储机制的主要内容,如果未能解决你的问题,请参考以下文章

Kafka文件存储机制

kafka文件存储机制

Kafka的存储机制以及可靠性

Kafka文件存储机制那些事

转 Kafka文件存储机制那些事

Kafka 的存储机制以及可靠性