kafka常用命令行

Posted 2021-03-16 mussessein

启停

（下面操作，都已配置环境变量）

1. 先启动zookeeper

   $ zkServer.sh status # 查看zookeeper状态
   JMX enabled by default
   Using config: /home/whr/workbench/zookeeper/bin/../conf/zoo.cfg
   Mode: follower

2. 启动kafka

   # 后台启动，需要配置参数
   # 不加-daemon，会是一个阻塞进程，可以方便看日志
   $ kafka-server-start.sh -daemon config/server.properties

3. 关闭kafka

   $ kafka-server-stop.sh config/server.properties

topic

创建一个topic

topic的分区会被创建在当前主机，每个分区的副本会分配到集群的其他机器；

比如下面例子：

• 在master上创建了两个分区：first-0、first-1
• 在slave1上会存放分区之一的一个副本：first-0
• 在slave2上会存放分区之一的一个副本：first-1

# -create创建
# --zookeeper master:2181；信息写入zookeeper（新版：--bootstrap-server）
# --partitions 2；partition数量
# --replication-factor 2；副本数，根据集群数量来定，不能超过集群数
# --topic first；topic的名字
$ kafka-topics.sh --create --zookeeper master:2181 --partitions 2 --replication-factor 2 --topic first
Created topic "first".

查看topic

# 查看所有topic
$ kafka-topics.sh --list --zookeeper master:2181
first
# 查看某一个topic详细信息
$ kafka-topics.sh --zookeeper master:2181 --describe --topic first
Topic:first PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: first    Partition: 0    Leader: 2   Replicas: 2,1   Isr: 2,1
    Topic: first    Partition: 1    Leader: 0   Replicas: 0,2   Isr: 0,2

查看分区offset

$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test
test:0:16
test:1:18

删除topic

并不能真正删除，会被标记为删除

$ kafka-topics.sh --delete --zookeeper master:2181 --topic first
Topic first is marked for deletion.

若想真正删除：

# 启动zookeeper客户端
$ zkCli.sh
# 找到目录
ls /brokers/topics
# 删除
rmr /brokers/topics/first

生产消费

1. 创建producer

   $ kafka-console-producer.sh --broker-list master:9092 --topic first
   >hello   # 发送消息

2. 创建consumer

   连接的是zookeeper

   $ kafka-console-consumer.sh --bootstrap-server master:9092 --topic first --from-beginning
   hello    # 收到消息