03_Kafka集群操作

Posted 2020-10-17 shayzhang

1、集群配置思路

1）每台节点上要启动一个broker进程，因此要配置每台的server.properties
broker id, log.dirs, zookeeper.connect

2) 每台broker都要连接zookeeper将状态写入，因此要配置每台的zookeeper.properties
dataDir, zookeeper集群snapshot数据的存放地址，和zookeeper集群的配置保持一致

3）zookeeper.properties 可以在一台节点上配置，并分发给其他
4）server.properties 可以在一台节点上配置，分发给其他节点后，修改broker id为各自的id

 

2、集群配置文件

zookeeper.properties

3台节点的配置相同

 

server.properties（broker0 ）

其他2个节点除了broker.id，都保持相同的配置

 

 3、集群起停

在每个节点上运行启动脚本

# ./bin/kafka-server-start.sh ./config/server.properties 

 在每个节点上运行停止脚本

# ./bin/kafka-server-stop.sh

 

 

4、集群操作

1) Topic查看

# ./bin/kafka-topics.sh --list --zookeeper master:2181/kafka

--zookeeper参数一定要带 (broker无状态，通过zookeeper维护kafka元数据),  chroot进行过修改的话，也一定要带

2）创建Topic
3副本，3个partition

# ./bin/kafka-topics.sh --create --zookeeper master:2181/kafka --topic mytopic --replication-factor 3 --partitions 3

replication-factor     包括leader和follower在内的所有broker个数

3) 查看Topic描述

# ./bin/kafka-topics.sh --describe --zookeeper master:2181/kafka --topic mytopic

 

4) 删除Topic

# ./bin/kafka-topics.sh --delete --zookeeper master:2181/kafka --topic mytopic

 

注意：
1）server.properties中的delete.topic.enable=true, 否则只是标记为删除，并不是真正删除
2）topic的数据会被同时删除，如果因为某些原因导致topic数据不能完全删除，topic只会被marked for deletion
     此时创建同名的topic就会出现名称冲突

5) 选择一个节点，启动producer，模拟消息发布
在master上启动producer进程

# ./bin/kafka-console-producer.sh  --broker-list master:9092,slave1:9092,slave2:9092  --topic ctopic

写入的数据，每行一条消息，针对每条消息（由于没有key), 随机选择1个partiton进行存储，3条消息被分别存储在了3个partition中

 

6) 选择一个节点，启动consumer，模拟消息订阅

# ./bin/kafka-console-consumer.sh  --topic ctopic --from-beginning --zookeeper master:2181/kafka

在slave1上启动consumer，由于消息分布在3个partition中，因此consumer收到的消息只能保证同一个partition内的有序

 

7) 模拟broker挂掉，查看partition的leader，ISR变化
slave2挂掉前, topic的partition情况

停止slave2上的broker

# ./bin/kafka-server.stop.sh

 slave2挂掉后,topic的partition情况，Partiton的leader和ISR发生了变化

zookeeper中记录broker在线情况的ids目录也发生了变化

8) 恢复broker，查看partition的leader，ISR变化
leader将维持故障后的状态，但ISR(in-sync replica）中slave2将恢复

 

9）如果想将leader恢复为最初的状态，则可以进行prefer-leader的重新选举

# ./bin/kafka-preferred-replica-election.sh --zookeeper master:2181/kafka

partition的leader将恢复为初始状态

注意：如果server.properties中的auto.leader.rebalance.enable=ture, 则将自动进行preferred-leader选举，自动恢复各个partition的leader为故障前的状态
 

10）集群节点替换
如果某个broker机器出现故障，无法重启，就需要使用新的机器来代替，主要是做两件事情
1、将新机器kafka配置文件中的broker.id设置为与原机器一样， 配置文件和原始broker保持严格一致
2、启动kafka，注意kafka保存数据的目录不会自动创建，需要手工创建