kafka

Posted 2020-10-12 海东青Lo

1、概念

broker:分布式中的每台服务器即broker。

topic:每个消息类别放在一个topic。

partition:每个topic包含一个或多个partition。

producer:生产者

consumer:消费者

consumer group 

 

2、存储格式

每个topic逻辑上就是一个queue，每个partition物理上对应一个文件夹。

每个日志文件都是一个log entrie序列，

message length ： 4 bytes (value: 1+4+n)
"magic" value ： 1 byte 
crc校验码 ： 4 bytes 
payload （partition偏移量）： 64 bytes

这个log entrie并非一个文件，而是由多个segment，每个segmen以t第一条消息的offset命名并以“.kafka”为后缀，另外会有一个索引文件，它标明了每个segment下包含的log entry的offset范围。