Kafka的命令行工具

Posted 2023-04-30

参考技术A Kafka 的命令行工具在 Kafka 包的/bin目录下，主要包括服务和集群管理脚本，配置脚本，信息查看脚本，Topic 脚本，客户端脚本等。
kafka-configs.sh：配置管理脚本
kafka-console-consumer.sh：kafka 消费者控制台
kafka-console-producer.sh：kafka 生产者控制台
kafka-consumer-groups.sh：kafka 消费者组相关信息
kafka-delete-records.sh：删除低水位的日志文件
kafka-log-dirs.sh：kafka 消息日志目录信息
kafka-mirror-maker.sh：不同数据中心 kafka 集群复制工具
kafka-preferred-replica-election.sh：触发 preferred replica 选举
kafka-producer-perf-test.sh：kafka 生产者性能测试脚本
kafka-reassign-partitions.sh：分区重分配脚本
kafka-replica-verification.sh：复制进度验证脚本
kafka-server-start.sh：启动 kafka 服务
kafka-server-stop.sh：停止 kafka 服务
kafka-topics.sh：topic 管理脚本
kafka-verifiable-consumer.sh：可检验的 kafka 消费者
kafka-verifiable-producer.sh：可检验的 kafka 生产者
zookeeper-server-start.sh：启动 zk 服务
zookeeper-server-stop.sh：停止 zk 服务
zookeeper-shell.sh：zk 客户端
我们通常可以使用kafka-console-consumer.sh和kafka-console-producer.sh脚本来测试 Kafka 生产和消费，kafka-consumer-groups.sh可以查看和管理集群中的 Topic，kafka-topics.sh通常用于查看 Kafka 的消费组情况。

kafka命令行的管理使用

参考技术A

首先要启动好kafka集群
1、集群时间同步
2、启动zookeeper集群
3、启动kafka集群
启动kafka集群的方式就是在集群中每台机器 kafka目录 下运行
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

kafka发出消息和接收消息都是基于topic，所以要先创建一个topic，才能向里面发消息。创建topic的脚本：

topic创建好了，就可以向里边发送消息了。

通过命令行实现数据的发送 producer 生产者
kafka-console-producer.sh 就是用来测试用的脚本，可以模拟kafka消息的发送端。
直接运行 kafka-console-producer.sh 查看帮助

--broker-list 指定我们kafka集群的地址
--topic 指定我们的消息发送到哪个topic里面去

通过命令行实现数据的接收 consumer 消费者

--bootstrap-server 表示我们的kafak集群的地址，在旧版本中使用的是--zookeeper参数，两者至少使用一个
--from-beginning 表示我们从最开始的数据进行消费
--topic指定我们topic的名字

在producer端发送数据，在consumer端可以收到数据