Kafka在Windows下的安装和目录结构

Posted 2023-04-05 流水武qin

一、下载安装

1）下载地址

https://kafka.apache.org/downloads.html

这里选择2.13-3.2.1的版本下载，2.13是Scala版本，3.2.1是Kafka版本。

2）解压

下载完成后在非中文目录下进行解压。

这里虽然以Windows为例，但是在Linux下也是一样的，毕竟这就是从tar包解压出来的。

注意点：

解压目录不要层级过深，要不然启动时会出现，命令行输入行太长 命令语法不正确的异常

二、Kafka目录结构

1）bin目录

这里主要是一些执行脚本。图片展示的Windows下的命令脚本。上一级目录则是Linux目录下的。

这里主要要注意生产者消费者启动脚本、服务开始关闭脚本、topic启动脚本。

2）config目录

这里主要要注意消费者配置文件、生产者配置文件、服务端配置文件、zookeeper配置文件。

3）lib目录

这个目录就是Kafka引入的第三方的一些jar包，可以自行了解一下。

4）licenses、LICENSE

Kafka的许可证信息。

5）NOTICE

Kafka的一些注意事项。

6）site-docs

Kafka的一些文档信息。

三、Windows本地单机启动Kafka

1）修改Kafka配置文件

找到config文件夹里面，找到server.properties文件，修改log.dirs的位置：

log.dirs=D:\\kafka\\kafka_2.13-3.2.1\\kafka-logs

2）修改Zookeeper配置文件

找到config文件夹里面，找到zookeeper.properties文件，修改dataDir的位置：

dataDir=D:\\kafka_2.13-3.2.1\\zookeeper-data

3）启动zookeeper

进入bin目录，打开cmd窗口，输入如下命令：

zookeeper-server-start.bat ..\\..\\config\\zookeeper.properties

4）启动Kafka

进入bin目录，打开cmd窗口，输入如下命令：

kafka-server-start.bat ..\\..\\config\\server.properties

5）关闭Kafka

必须优先关闭Kafka，再去关闭Zookeeper。要不然可能会导致Kafka进程关不掉。

这只是基本的启动，如果要实现消息发送，还需要创建topic、producer和consumer

kafka在zookeeper下的目录结构

isr_change_notification目录

admin目录

topic 配置

/config/topics/[topic_name]

consumer offset

/consumers/[groupId]/offsets

consumer owner

/consumers/[groupId]/owners/

consumer注册信息

/consumers/[groupId]/ids/[consumerIdString

controller注册信息

/controller –

 

controller epoch

/controller_epoch -> int (epoch)   

broker注册信息

/brokers/ids/[0...N]       

partition状态信息

/brokers/topics/[topic]/partitions/[0...N]  其中[0..N]表示partition索引号

topic注册信息

/brokers/topics/[topic]