Mac下Kafka的安装和调试

Posted 2023-04-15

参考技术A 1、安装

brew install kafka

会一起安装zookeeper和Kafka两个插件

2、文件路径

（1）Kafka的bin目录路径

/usr/local/Cellar/kafka/2.5.0/bin，里面包含Kafka的各种操作命令

kafka-server-start，服务启动命令

kafka-server-stop，服务停止命令

kafka-topics，主题操作命令

kafka-console-producer，生产消息命令

kafka-console-consumer，消费消息

（2）Kafka的配置文件路径

/usr/local/etc/kafka

zookeeper.properties，zookeeper的配置文件

 server.properties，Kafka服务的配置文件

3、必须的前提修改Kafka的配置文件，否则后面的启动会失败

vim /usr/local/etc/kafka/server.properties

增加：listeners=PLAINTEXT://localhost:9092

其中有改行，默认被注释掉了，打开修改即可

4、打开新终端窗口1，进入Kafka的bin目录启动zookeeper服务

kafka-server-start /usr/local/etc/kafka/server.properties &

都是info，没有报fatal或者error错误，即为启动成功。

如果不先修改第3步的配置文件，那么会报错如下

ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)

5、打开新终端窗口2，进入Kafka的bin目录启动Kafka资深的服务

kafka-server-start /usr/local/etc/kafka/server.properties &

都是info，没有报fatal或者error错误，即为启动成功。

如果不先修改第3步的配置文件，那么会报错如下

ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)

6、打开新终端窗口3，进入Kafka的bin目录，新建topic主题test

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

出现：Created topic test. 表明建立topic成功

查看所有目前的topic，校验是否新建完毕

kafka-topics --list --zookeeper localhost:2181

会列出所有建立的topic

7、打开新终端窗口4，进入Kafka的bin目录，打开生产者客户端，topic为test的主题

kafka-console-producer --topic test --broker-list localhost:9092

出现>表示启动生产者客户端成功，等待输入生产者消息，输入消息，回车，即表示插入了一条消息到主题test的队列中

8、打开新终端窗口5，进入Kafka的bin目录，打开消费者客户端，topic为test的主题

kafka-console-consumer --bootstrap-server localhost:9092 -topic test   

等待显示生产者输入的消息，并同步显示出来

kafka的安装与调试

消费者-生产者模式搭建

首先，下载zookeeper与kafka

Zookeeper下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/（本人推荐下载3.4.14版本，stable版本下的解压时会出现重复而造成覆盖，丢失文件）

Kafka下载地址：http://kafka.apachecn.org/downloads.html

版本选择2.11-0.10.2.1

接下来解压缩

 

 

 

配置zookeeper

1.首先进入conf目录下，复制zoo_simple.cfg到当前目录下，并重命名为zoo

 

 

 

使用文本编辑工具编辑zoo，将文件下的dataDir（存储数据库快照的目录，更新事务默认储存文件）目录修改为如下。

 

 

 

2.为zookeeper配置环境变量

右键我的电脑=>属性=>高级系统设置=>环境变量

在系统变量下，新建，命名为ZOOKEEPER_HOME,

 

 

 

添加path，双击path，点击新建，添加zookeeper的bin目录。

 

 

 

启动zookeeper的服务

进入zookeeper的bin目录，按住shift，点击右键，选择：在此处打开power shell窗口

 

 

 

等会输入:zkserver

得到如下：

 

 

 

 

有这个就说明启动成功了（binding to port 0.0.0.0/0.0.0.0:2181）

 

 

 

配置kafka

1.进入kafka的conf文件夹

 

 

 

进入server.properties，修改log.dirs为如下目录。

 

 

 

进入windows目录下,输入命令：./kafka-server-start.bat ../../config/server.properties

（bat后面有个空格不要忘了。）

当得到如下started时，说明启动成功

 

 

 

 

 

创建topic

同样，进入windows下，按住shift，同时点击鼠标右键，选择在次数打开power shell

输入如下命令：./kafka-topics.bat --creat --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test （那是个1，亲测，刚开始我还以为是l）

这句话表示创建一个名为test的topic

 

 

 

 

这就表示创建成功了

下面创建生产者

同样，进入Windows下，创建power shell窗口，

输入如下命令：./kafka-console-producer.bat --broker-list localhost:9092 --topic test

 

就可以了，暂时

下面创建消费者

同样，进入Windows下，创建power shell窗口，

输入如下命令：./kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

出现如下

 

 

 

 

 

这样，消费者，生产者，就创建完成了。

下面，我们进入生产者（producer）界面，输入hello

在消费者界面就可以得到输出hello