Kafka(二） —— 设计原理

Posted 2020-11-23 fonxian

broker端设计架构

消息设计

/**
 * 消息类
 *
 * @author Michael Fang
 * @since 2019-11-14
 */
public class Message implements Serializable{
    // 2字节
    private short magic;
    // 2字节
    private short codecKlassOrdinal;
    // 1字节
    private boolean codecEnabled;
    // 4字节    
    private CRC32 crc;
    // 4字节
    private String key;
    // 4字节
    private String value;

}

一个普通的Kafka消息对象有多大

这个Message对象被创建好实际的大小是多少？

JMM要求Java对象必须按照8Byte对齐，未对齐的部分会填充空白字节进行补齐。

外加64位JVM对象头通常由两个8Byte的word组成。

所以大小 = 16byte(对象头) + 2 + 2 + 1 + 4 + 4 + 4 +7(补充字节) = 40byte。

一个普通的Kafka消息对象就要40KB的内存空间，显然是比较大的，其中7个字节被浪费掉。

producer端设计架构

consumer端设计架构