kafka的安装与调试

Posted msdog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka的安装与调试相关的知识,希望对你有一定的参考价值。

消费者-生产者模式搭建

首先,下载zookeeper与kafka

Zookeeper下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/(本人推荐下载3.4.14版本,stable版本下的解压时会出现重复而造成覆盖,丢失文件)

Kafka下载地址:http://kafka.apachecn.org/downloads.html

版本选择2.11-0.10.2.1

接下来解压缩

 技术图片

 

 

配置zookeeper

1.首先进入conf目录下,复制zoo_simple.cfg到当前目录下,并重命名为zoo

 技术图片

 

 

使用文本编辑工具编辑zoo,将文件下的dataDir(存储数据库快照的目录,更新事务默认储存文件)目录修改为如下。

 技术图片

 

 

2.为zookeeper配置环境变量

右键我的电脑=>属性=>高级系统设置=>环境变量

在系统变量下,新建,命名为ZOOKEEPER_HOME,

 技术图片

 

 

添加path,双击path,点击新建,添加zookeeper的bin目录。

 技术图片

 

 

启动zookeeper的服务

进入zookeeper的bin目录,按住shift,点击右键,选择:在此处打开power shell窗口

 技术图片

 

 

等会输入:zkserver

得到如下:

 技术图片

 

 

 

有这个就说明启动成功了(binding to port 0.0.0.0/0.0.0.0:2181)

 技术图片

 

 

配置kafka

1.进入kafka的conf文件夹

 技术图片

 

 

进入server.properties,修改log.dirs为如下目录。

 技术图片

 

 

进入windows目录下,输入命令:./kafka-server-start.bat ../../config/server.properties

(bat后面有个空格不要忘了。)

当得到如下started时,说明启动成功

 技术图片

 

 

 

 

创建topic

同样,进入windows下,按住shift,同时点击鼠标右键,选择在次数打开power shell

输入如下命令:./kafka-topics.bat --creat --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test (那是个1,亲测,刚开始我还以为是l)

这句话表示创建一个名为test的topic

 技术图片

 

 

 

这就表示创建成功了

下面创建生产者

同样,进入Windows下,创建power shell窗口,

输入如下命令:./kafka-console-producer.bat --broker-list localhost:9092 --topic test

 

就可以了,暂时

下面创建消费者

同样,进入Windows下,创建power shell窗口,

输入如下命令:./kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

出现如下

 技术图片

 

 

 

 

这样,消费者,生产者,就创建完成了。

下面,我们进入生产者(producer)界面,输入hello

在消费者界面就可以得到输出hello

 

 技术图片

 

以上是关于kafka的安装与调试的主要内容,如果未能解决你的问题,请参考以下文章

如何开始调试Kafka源码

基于Kafka的生产者消费者消息处理本地调试

基于Kafka的生产者消费者消息处理本地调试

本地idea配置kafka源码调试环境

Flink+kafka实时统计本地环境搭建与代码实战

Flink+kafka实时统计本地环境搭建与代码实战