kafka知识总结
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了kafka知识总结相关的知识，希望对你有一定的参考价值。
参考技术A 本文将介绍最常用的分布式消息中间件kafka。由于笔者水平受限，因此介绍不一定全面，也不会太深入，仅供参考。如果启动时提示命令语法不正确，那么需要在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat，为set COMMAND后面的%CLASSPATH%加上双引号
注意2.2版本可以直接用--bootstrap-server替代--zookeeper
一条消息是一个record batch，包含record batch header，每条record又有各自的header
一个segment由.index和.log组成。.index是索引文件，记录每条消息的offset和在.log中的地址，.log中存储具体的数据。segment大小固定，但是包含不同数目的消息，segment文件的命名由上一个segment的最后一条消息的offset决定。查询指定offset消息的过程是先通过二分查找找到对应的segment，然后在.index文件中通过二分查找找到对应的存储地址。
compaction指对相同key的数据进行合并。
每个partition都有一个leader，若干个followers，读写请求发送给leader处理。leader维护了一个isr（in-sync replicas）列表，写数据时只有当指定数量的isr告知已收到（acknowledge）leader才会commit，而数据只有commit之后才会被消费者看到。告知已收到的数量可以由producer决定，包括0,1或者all（-1）
如果分区的当前leader挂掉了，会从isr列表中重新选举leader。如果列表中的所有节点都挂掉了，那么有以下几种策略
以上是关于kafka知识总结的主要内容，如果未能解决你的问题，请参考以下文章