kafka集群安装配置

Posted 2020-10-22 王振龙

1.下载安装包

2.解压安装包

3.进入到kafka的config目录修改server.properties文件

 

进入后显示如下:

 

修改log.dirs,基本上大部分都是默认配置

 

 kafka依赖zookeeper保存一些meta信息,所以这些需要配置

分发安装包到其他节点上

scp -r ....

再次修改配置文件（重要）

依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

启动集群

依次在各节点上启动kafka

bin/kafka-server-start.sh  config/server.properties

 执行命令的情况如下:

 

 

5.4、Kafka常用操作命令

l 查看当前服务器中的所有topic

bin/kafka-topcs.sh --list --zookeeper  zk01:2181

 

 

 

l 创建topic

./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first

l 删除topic

sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

l 通过shell命令发送消息

kafka-console-producer.sh --broker-list kafka01:9092 --topic first1

l 通过shell消费消息

sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1

l 查看消费位置

sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

l 查看某个Topic的详情

sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181