Linux下kafka集群的搭建

Posted 2020-09-08 练子

上一篇日志已经搭建好了zookeeper集群，详细请查看：http://www.cnblogs.com/lianliang/p/6533670.html，接下来继续搭建kafka的集群

1、首先下载kafka的gz包：http://kafka.apache.org/downloads

解压到/opt/soft/kafka/目录下，解压之后并创建文件夹logs，用于存在kafka的日志文件

进入到kafka/config的目录下，修改配置文件，vim  server.properties，需要修改的配置是：

#每台服务器的broker.id都不能相同

broker.id=0   

#在log.retention.hours=168 后新增下面三项

message.max.byte=5242880

default.replication.factor=1

replica.fetch.max.bytes=5242880

#设置zookeeper的连接端口

zookeeper.connect=master:2181,slave1:2181

#日志文件的目录，设置成刚刚创建的logs目录

log.dirs=/opt/soft/kafka/logs/

注意：salve1中的broker.id为1

修改完成之后保存，退出

2、启动kafka集群：

执行启动命令：kafka_2.11-0.10.1.1/bin/kafka-server-start.sh -daemon kafka_2.11-0.10.1.1/config/server.properties

然后执行命令：JPS，如果打印

5709  Kafka
2850  QuorumPeerMain
6056  Jps

说明kafka启动成功

3、接下来测试能否生产和消费消息

创建一个topic：bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic lian

查看topic：bin/kafka-topics.sh --list --zookeeper master:2181，如果能查看刚创建的topic说明创建topic成功

打开生产者客户端：bin/kafka-console-producer.sh --broker-list master:9092 --topic lian

在控制台中随便输入一行数据：This is a message

到slave1机器上打开一个消费者客户端：bin/kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic lian --from-beginning

如果能收到刚刚输入的字符串：This is a message，说明集群搭建成功！