Windows环境搭建Zookeeper和Kafka

Posted 2021-09-09 魏晓蕾

1、安装JDK8

JDK8下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
配置环境变量：
JAVA_HOME=E:\\Program Files\\Java\\jdk1.8.0_291
Path=%JAVA_HOME%\\bin

2、搭建Zookeeper

1. 下载安装包
   下载地址：https://downloads.apache.org/zookeeper/
2. 解压并进入ZooKeeper目录：E:\\BigData\\apache-zookeeper-3.6.3-bin
3. 复制zoo_sample.cfg，并重命名为zoo.cfg，修改如下配置：

dataDir=E:\\\\BigData\\\\apache-zookeeper-3.6.3-bin\\\\tmp
clientPort=2181

4. 添加系统环境变量：
   ZOOKEEPER_HOME=E:\\BigData\\apache-zookeeper-3.6.3-bin
   %ZOOKEEPER_HOME%\\bin
5. 打开 CMD 命令行，输入“zkServer“，启动Zookeeper
6. Zookeeper启动成功

3、搭建Kafka

1. 下载安装包
   下载地址：http://kafka.apache.org/downloads
2. 解压并进入Kafka目录：E:\\BigData\\kafka_2.13-2.4.1
3. 编辑文件config/server.properties
   Kafka默认运行在9092端口，连接Zookeeper默认端口2181

log.dirs=E:\\\\BigData\\\\kafka_2.13-2.4.1\\\\logs
zookeeper.connect=localhost:2181

4. 添加系统环境变量：
   KAFKA_HOME=E:\\BigData\\kafka_2.13-2.4.1
   Path=%KAFKA_HOME%\\bin\\windows
5. 进入目录E:\\BigData\\kafka_2.13-2.4.1\\config，打开 CMD 命令行，输入以下命令，启动Kafka

E:\\BigData\\kafka_2.13-2.4.1\\config>kafka-server-start.bat ./server.properties

6. Kafka启动成功

4、运行Kafka

1. 创建Topic

C:\\Users\\DELL>kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.

2. 查看Topic

C:\\Users\\DELL>kafka-topics.bat --list --zookeeper localhost:2181
__consumer_offsets
sunday
test

3. 创建Producer

C:\\Users\\DELL>kafka-console-producer.bat --broker-list localhost:9092 --topic test
>abc
>hello world

4. 创建Consumer

C:\\Users\\DELL>kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
abc
hello world

此时，往生产者窗口写入消息，消费者窗口也能同步接收到消息。

5. 查看Topic详细信息

C:\\Users\\DELL>kafka-topics.bat --describe --zookeeper localhost:2181 --topic test
Topic: test     PartitionCount: 1       ReplicationFactor: 1    Configs:
       Topic: test     Partition: 0    Leader: 0       Replicas: 0     Isr: 0

6. 在log4j.properties中修改日志的保存位置，可以将TRACE的信息修改为INFO，以免生成大量日志