kafka常用的shell命令
Posted 徐小慧_Blog
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka常用的shell命令相关的知识,希望对你有一定的参考价值。
kafka常用的shell命令
kafka系列
Kafka史上最详细原理总结(一)
kafka常用的shell命令(二)
1、创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2、查看创建的topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
3、生产者发布消息命令
(执行完此命令后,在控制台输入要发送的消息,回车即可)
bin/kafka-console-producer.sh --broker-list 192.168.91.231:9092,192.168.91.231:9093,192.168.91.231:9094 --topic test
4、消费者接受消息命令
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
5、kafka启动
首先启动zookeeper zkServer.sh start
(相当于一个server,kafka会连接这个server)
启动kafka
bin/kafka-server-start.sh config/server.properties
6、查看kafka节点数目
在zookeeper中查看,登录客户端bin/zkCli.sh 执行ls /brokers/ids
查看节点数目及节点ID,[0, 1, 2]
7、kafka中的概念
生产者 Producer、代理 Broker、消费者 Consumer、主题 Topic、分区 Partition、消费者组 Consumer Group
8、查看主题信息
bin/kafka-topics.sh --zookeeper 192.168.91.231:2181 [加其他选项]
eg:
bin/kafka-topics.sh --zookeeper 192.168.91.231:2181 --describe
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
9、为主题创建分区
bin/kafka-topics.sh --zookeeper 192.168.91.231:2181 --alter -partitions 8 -topic test
一共创建八个分区,编号分别为0~7
10、查看kafka进程
ps -ef|grep server.properties
ps -ef|grep server-1.properties
ps -ef|grep server-2.properties
11、kafka宕机重启后,消息不会丢失
12、kafka其中一个broker宕机后,对消费者和生产者影响很小(命令行下测试)
消费者会尝试连接,连接不到,返回java.net.ConnectException: Connection refused
异常 生产者可能会在发送消息的时候报异常,但会很快连接到其他broker,继续正常使用
以上是关于kafka常用的shell命令的主要内容,如果未能解决你的问题,请参考以下文章