Kafka

Posted 2021-01-14 beiyi888

kafka术语

Kafka Cluster : Kafka集群

Broker:  kafka集群中的所有节点（安装了kafka软件的这台节点），我们称之为broker每台broker有唯一的标识；

Producer: 往kafka里面生产数据的一端，叫做produce;

Consumer: 从kafka里面消费数据的一端，称之为Consumer；

Topic：producer将数据发送到Kafka里面，数据是按照主题进行存储的；

partition ：Kafka主题下存储数据的时候，是按照分区进行存储的；

Leader：在Kafka里面，数据是存在副本概念的，数据中，除了副本之外的那个数据分区，是leader,leader对外提供读写服务；

Follower：某个分区的数据副本，主要同步leader数据；

Replication：每个分区的数据是存在副本的

Cotroller：负载均衡，保证一台机器中不会存在多个leader

groupid：每个消费者都会拥有一个id，用来标识自己消费数据的记录

__Consumer_offsets(主题):记录着某个groupid消费数据的记录（如，zhangsan :100）

 

 

Kafka集群的搭建（都是四部曲了，只讲述配置修改内容）：

　　下载

　　上传

　　解压

　　修改配置：

　　　　config/server.properties

　　　　　　broker.id = 0

    　　　　   listeners = host:9092

　　　　　　num.partitions = n*2

　　　　　　zookeeper = ...