02_Kafka单节点实践

Posted 2020-10-17 shayzhang

1、实践场景

 

开始前的准备条件：

1） 确认各个节点的jdk版本，将jdk升级到和kafka配套的版本（解压既完成安装，修改/etc/profile下的JAVA_HOME，source /etc/profile，重启后jdk生效）

 

2、单节点kafka实践

1） 启动zookeeper集群

各个节点上启动zookeeper进程
# bin/zkServer.sh start

启动后，查看各个节点的zookeeper状态 (leader, follower etc)
#bin/zkServer.sh status

 

2) 配置kafka的zk集群

配置文件：config/zookeeper.properties

配置要点：zookeeper中snapshot数据的存放地址，和zookeeper集群中的配置保持一致

 

3) 配置本节点上要启动的broker

配置文件： config/server.properties
配置要点：

                   broker.id

                   log.dirs (将在该路径下自动创建partition目录）

                   zookeeper.connect (broker要连接的zookeeper集群地址和port）

                   检查broker发布给producer和consumer的主机名和端口号（9092）

配置后的参数如下：

# broker id, 每个broker的id必须是唯一的
broker.id=0

# kafka存放消息的目录
log.dirs=/usr/local/src/kafka_2.11/tmp/

# broker连接的zk集群，节点间通过逗号分隔，默认zk开放给客户端连接的端口号是2181
zookeeper.connect=master:2181,slave1:2181,slave2:2181

 

注意：

1） 默认Kafka会直接在ZooKeeper的根路径下创建znode，这样Kafka的ZooKeeper配置就会散落在根路径下面
2） 可以指定kafka在zookeeper的某个路径下去进行操作， 将server.properties中的zookeeper.connect修改为：
       a. zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka
       b. 同时手动在zookeeper中创建/kafka节点 （create /kafka)

4）启动单个Broker

# ./bin/kafka-server-start.sh   ./config/server.properties

 5）查看当前kafka集群中的Topic

# ./bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181
# ./bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181/kafka   # 如果修改了kafka在zookeeper下的znode节点路径，则要在--zookeeper参数中跟上chroot路径

6) 创建topic

创建Topic时，会根据broker的个数，对replication-factor进行校验；

# ./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic mytopic

7) 查看topic描述信息

# ./bin/kafka-topics.sh --describe --zookeeper master:2181,slave1:2181,slave2:2181 --topic mytopic

 

partition:0        该partition的编号，从0开始
leader:0          该partition的leader节点的broker.id = 0
replicas:0       表示partition落地的所有broker, 包括leader在内
isr:0                当前处于in-sync的replicas节点, 包括leader在内， broker.id = 0

8) zookeeper上将记录kafka已经创建的topic

9）broker的log.dirs中将创建partition目录

目录名：topic名-partition编号       //编号从0开始

 

mytopic-0   

 

10）Partition目录下的segment文件

 

每一个segment，都会由 log文件,index文件 组成

 

解析：

xxxx.log           -- 最初的log文件，文件名是初始偏移（base offset),   消息存储在log文件
xxxx.index       -- 最初的index文件，文件名是初始偏移(base offset)，index则用于对应log文件内的消息检索
                             offset, postion
                             offset, 消息计数； postion,消息头在log文件中的起始位置（position从0开始）
                             index文件可以映射到内存，从index文件的名字可以判断出某一个消息应该位于哪一个log文件

 

segment文件的默认最大size为1G，超过该size后才会创建新的segment文件，新的segment文件将称为active segment, 数据是向active segment写入

 

11) 调整Topic的partition个数

只能增加，不能减少

# ./bin/kafka-topics.sh --alter --zookeeper master:2181,slave1:2181,slave2:2181 --topic mytopic --partitions 2

 

 物理的partition目录，也变为了2个

 

12）使用kafka提供的Producer客户端，模拟消息发送

# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic

--broker-list:      该producer要向哪些broker推送消息, ip:port形式说明
--topic:              该producer要向哪一个Topic发送消息

 

启动producer客户端后，每行都会作为一条message, 存储到该topic的partition文件下的log文件中

 

13) 查看log文件中，消息落地到了哪里

1） 由于消息中没有指定key,  kafka将针对每条message，随机找一个partition进行存放

2）4条消息，存储到了两个分区mytopic-0和mytopic-1下

mytopic-0分区，log文件存储了2条消息

 

mytopic-1分区，log文件存储了2条消息

 

 14）启动Consumer, 模拟消息的消费

1、Consumer消费消息时，只需要指定topic+offset
2、通过zookeeper获取topic的partition位于哪些broker上，各自的leader broker是谁，然后和leader broker连接，获取数据

 ./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning  

 

 3、观察多个partition下，consumer端数据的顺序

topic有2个分区，consumer端得到的数据顺序和发送端的不一定相同，但每个partiton内部的消息顺序能够保证（非全局有序，partition内部有序）