kafka知识点

Posted 2020-09-05 一页天书不分说

1. kafka的集群中，每一个节点叫做 broker。

2. 通过任一broker可以接入这个集群。

3. 一个topic有多个partition，但是partition不是副本集，如果你往topic里写了100条消息，那么所有partition的数据加起来才是这个100条。写的时候，你可以指定你要往哪个partition里写，这样，只有这个partition会收到消息，其他的partition不会收到消息。

4. 真正的副本集叫做replication，这才是真正的备份。

5. 一个broker可能不会存放所有的partition，这是内部细节部分，外部使用者不用去关心哪个broker存放了哪些partition，你只要通过任意一个broker接入这个kafka集群，那么寻找partition到底在哪个broker上，由kafka本身去完成就好了。

6. 读数据的时候需要指定【一个broker（或者一个brokerlist）】，【一个topic】，【一个partition】，【恩，还有一个offset】。

7. offset是什么呢，partition内部存放数据的格式可以相当于一个大数组，offset就是你要从什么地方开始读，跟基本上大部分情况下的下标惯例一样，这个下标也是从0开始的。

8. 再细节的部分可以看这个链接：kafka细节部分。