windows下安装kafka

Posted 2021-05-16 晨港飞燕

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了windows下安装kafka相关的知识，希望对你有一定的参考价值。

一.下载

kafka官网下载地址:http://kafka.apache.org/downloads.html,下载二进制的.

二.安装

1.安装zookeeper

windows环境下安装zookeeper(单机版)

安装并启动后的界面:

2.安装kafka

我下载的kafka_2.13-2.8.0.tgz,并解压到D:\\Tools\\kafka_2.13-2.8.0目录下

编辑文件Kafka配置文件， D:\\Tools\\kafka_2.13-2.8.0\\config\\server.properties
找到并编辑log.dirs=D:\\\\Tools\\\\kafka_2.13-2.8.0\\\\kafka-logs, (自定义文件夹)
找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。

三.启动Kafka服务器

1.进入Kafka安装目录,新建cmd窗口:cd D:\\Tools\\kafka_2.13-2.8.0,输入命令

.\\bin\\windows\\kafka-server-start.bat .\\config\\server.properties

或者进入D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows目录下执行

kafka-server-start.bat ..\\..\\config\\server.properties

或者填写绝对路径

D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows\\kafka-server-start.bat D:\\Tools\\kafka_2.13-2.8.0\\config\\server.properties

注意：不要关了这个窗口，启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四.测试

kafka专业术语介绍:Kafka的简介

1.创建主题

新建cmd窗口,进入kafka的windows目录下,cd D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows,输入以下命令,创建一个叫topic001的主题

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001

可以关掉这个窗口

2.创建生产者

新建cmd窗口,进入kafka的windows目录下,cd D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows,输入以下命令

kafka-console-producer.bat --broker-list localhost:9092 --topic topic001

3.创建消费者

新建cmd窗口,进入kafka的windows目录下,cd D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows,输入以下命令

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning

4.生产消息并消费

5.其他命令

新建cmd窗口,cd D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows

1.列出主题：kafka-topics.bat –list –zookeeper localhost:2181
2.描述主题：kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]

6.操作日志的处理

kafka启动后，如果你去查看kafka所在的根目录，或者是kafka本身的目录，会发现已经默认生成一堆操作日志(这样看起来真心很乱)：

而且会不断生成不同时间戳的操作日志。刚开始不知所措，一番研究后，看了启动的脚本内容，发现启动的时候是会默认使用到这个log4j.properties文件中的配置，而在zoo.cfg是不会看到本身的启动会调用到这个，还以为只有那一个日志路径：

在这里配置一下就可以了，找到config下的log4j.properties：

将路径更改下即可，这样就可以归档在一个文件夹下边了，路径根据自己喜好定义：

另外如何消除不断生成日志的问题，就是同一天的不同时间会不停生成。

修改这里，还是在log4j.properties中：

本身都为trace，字面理解为会生成一堆跟踪日志，将其改为INFO即可。

五.将kafka安装成windows的服务

nssm是一款windows 服务安装工具，简单方便， windows service wrapper 也是一个类似的工具，但是需要进行配置文件编写

下载的地址：http://nssm.cc/release/nssm-2.24.zip

1、将软件解压到D:\\Tools\\nssm-2.24,cmd进入D:\\Tools\\nssm-2.24\\win64
2、输入命令.\\nssm install 会弹出一个nssm service installer
3、application path ：D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows\\kafka-server-start.bat
4、startup directory : D:\\Tools\\kafka_2.13-2.8.0\\bin\\windows 上面选择后会自动选择出来
5、Arguments: D:\\Tools\\kafka_2.13-2.8.0\\config\\server.properties
6、然后记得写服务名称kafka就行了

6.kafka管理界面

kafka-manager 由 yahoo 公司开发，该工具可以方便查看集群主题分布情况，同时支持对多个集群的管理、分区平衡以及创建主题等操作。不过雅虎已经将其更名为CMAK（Cluster Manager for Apache Kafka）。下载地址:https://github.com/yahoo/CMAK/releases，目前最新版是3.0.05，Attached release asset was compiled with java 11.