kafka1.0.0集群搭建

Posted 2020-10-26

一、环境准备
1、软件
zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
kafka1.0.0 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/
java8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、硬件
? 机器：10.205.104.55
? 机器：10.205.102.52
? 机器：10.205.105.33
二、安装
jdk安装略
1、统一目录/opt

2、安装zookeeper（三台机器同样操作）
cp conf/zoo_sample.cfg zoo.cfg
grep ^[^#] conf/zoo.cfg

添加机器id到 dataDir=/opt/zookeeper-3.4.11/data目录下的myid文件中
机器：10.205.104.55 ==1
机器：10.205.102.52 ==2
机器：10.205.105.33 ==3

每台机器都是同样的配置
启动zookeeper
bin/zkServer.sh start
检验

3、安装kafka（每台机器broker.id不同。这里依此是0，1，2）
每台机器依此配置

启动kafka（每台都启动）
bin/kafka-server-start.sh config/server-1.properties &
校验

创建topic
bin/kafka-topics.sh --create --zookeeper 10.205.104.55:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
查看topic信息
bin/kafka-topics.sh --describe --zookeeper 10.205.104.55:2181 --topic my-replicated-topic

推送信息
bin/kafka-console-producer.sh --broker-list 10.205.104.55:9092 --topic my-replicated-topic
消费信息
bin/kafka-console-consumer.sh --bootstrap-server 10.205.104.55:9092 --from-beginning --topic my-replicated-topic
安装完毕