初识Kafka

Posted 2020-09-18

Kafka是什么？

　　是一个分布式消息系统
　　类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。
　　kafka是一个生产-消费模型。

一些名词：
　　Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。
数据的分发策略由producer决定，默认是defaultPartition。
　　Consumer：消费者，订阅消息并处理发布消息。
　　Broker：当前服务器上的Kafka进程,相当于中介，一个Kafka节点就是一个broker，只管数据存储，不管是谁生产，不管是谁消费。
在集群中每个broker都有一个唯一brokerid，不得重复。
　　Topic：Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每一个topic又可以分成几个不同的partition
(每一个topic有几个partition是在创建topic时指定的)，每一个partition存储一部份Message。
　　Partition：topic物理上的分组，同一个topic下有多个不同partition，每个partition为一个目录，partition物理上由多个segment组成(index,log)
每个partition可以设置多个副本(replication-factor 1),会从所有的副本中选取一个leader出来。所有读写操作都是通过leader来进行的。
特别强调，和mysql中主从有区别，mysql做主从是为了读写分离，在kafka中读写操作都是leader。
　　每个partition是一个有序的队列，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。如果是多broker分布情况：参考http://blog.csdn.net/lizhitao/article/details/41778193
　　Segment：Partition物理上由多个segment组成，一个segment有默认的大小是1G。
segment file由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件。
　　Message：Partition中的每条Message由offset来表示它在这个partition中的偏移量，这个offset不是该Message在partition数据文件中的实际存储位置，而是逻辑上1个值，它唯一肯定了partition中的一条Message。因此，可以认为offset是partition中Message的id。partition中的每条Message包括了以下3个属性：offset(long型)，MessageSize(int32，表示data有多大)，data(message的具体内容)
　　ConsumerGroup：数据消费者组，ConsumerGroup可以有多个，每个ConsumerGroup消费的数据都是一样的。可以把多个consumer线程划分为一个组，组里面所有成员共同消费一个topic的数据，组员之间不能重复消费。

Kafka如何保证数据的完全生产

　　ack机制：broker表示发来的数据已确认接收无误，表示数据已经保存到磁盘。
　　0：不等待broker返回确认消息
　　1：等待topic中某个partition leader保存成功的状态反馈
　　-1：等待topic中某个partition 所有副本都保存成功的状态反馈

broker如何保存数据

　　在理论环境下，broker按照顺序读写的机制，可以每秒保存600M的数据。主要通过pagecache机制，尽可能的利用当前物理机器上的空闲内存来做缓存。
　　当前topic所属的broker，必定有一个该topic的partition，partition是一个磁盘目录。partition的目录中有多个segment组合(index,log)

consumerGroup的组员和partition之间如何做负载均衡

　　最好是一一对应，一个partition对应一个consumer。
　　如果consumer的数量过多，必然有空闲的consumer。
　　算法：
　　　　假如topic1,具有如下partitions: P0,P1,P2,P3
　　　　加入group中,有如下consumer: C1,C2
　　　　首先根据partition索引号对partitions排序: P0,P1,P2,P3
　　　　根据consumer.id排序: C0,C1
　　　　计算倍数: M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)
　　　　然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]

如何保证kafka消费者消费数据是全局有序的

　　伪命题
　　如果要全局有序的，必须保证生产有序，存储有序，消费有序。
　　由于生产可以做集群，存储可以分片，消费可以设置为一个consumerGroup，要保证全局有序，就需要保证每个环节都有序。
　　只有一个可能，就是一个生产者，一个partition，一个消费者。这种场景和大数据应用场景相悖。

参考文档

　　kafka中文教程

　　Kafka Shell基本命令(包括topic的增删改查)