kafka的基本操作(命令行操作)

Posted 一个人的牛牛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka的基本操作(命令行操作)相关的知识,希望对你有一定的参考价值。

目录

一:准备

二:kafka的基本操作(命令行操作)


一:准备

1.安装kafka

操作:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客

2.安装zookeeper

操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客

3.启动zookeeper

在zookeeper目录下执行:

bin/zkServer.sh start

如果是集群每一台都需要执行启动命令!! 

验证: jps看到QuorumPeerMain进程就已经启动成功!!!

4.启动kafka(在kafka目录下)(需要先启动zookeeper)

bin/kafka-server-start.sh -daemon config/server.properties

如果是集群每一台都需要执行启动命令!!

 验证:jps查看进程都有kafka进程就启动成功了1.!!!
 

二:kafka的基本操作(命令行操作

1.查看当前服务器中的所有topic(在kafka目录下)

kafka-topics.sh --zookeeper hadoop001:2181 --list

2.创建主题topic(在kafka目录下)

如:test

bin/kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test

 如:second

bin/kafka-topics.sh --zookeeper hadoop001:2181 --create --replication-factor 1 --partitions 3 --topic second

3.删除topic(在kafka目录下)

如:test

bin/kafka-topics.sh --zookeeper hadoop001:2181 --delete --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除。

4.启动控制台生产者(在kafka目录下)

如:test

bin/kafka-console-producer.sh --broker-list hadoop001:9092 --topic test

5.启动控制台消费者(在kafka目录下)(需要另外打开一个终端)

如:test

bin/kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning

 我们一般先运行消费者,再去运行生产者

topic为second发送消息

topic为second消费消息

 

 6.查看某个topic的详情(在kafka目录下)

如:test

 bin/kafka-topics.sh --zookeeper hadoop001:2181 --describe --topic test

 7.修改分区数(在kafka目录下)

如:test

bin/kafka-topics.sh --zookeeper hadoop001:2181 --alter --topic test --partitions 6

8.说明:

hadoop001 我的主机名

2181 端口

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

 --from-beginning:会把主题中以往所有的数据都读取出来

以上是关于kafka的基本操作(命令行操作)的主要内容,如果未能解决你的问题,请参考以下文章

Kafka 常用命令行操作

kafka主题命令行操作

Kafka基础——常用命令行操作

Apache Kafka:使用java和命令行方式操作topic(admin api)

kafka 常用命令行操作(查看主题,生产数据,消费数据)

Apache Kafka:简单的命令行操作topic实现消息发送和接收