mac 搭建单机版kafka完整过程-基于kafka3.0

Posted 纵横千里,捭阖四方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mac 搭建单机版kafka完整过程-基于kafka3.0相关的知识,希望对你有一定的参考价值。

一直想在电脑上装个kakfa玩一玩,今天就来做这个。我们本机安装一般是为了方便学习,更希望简洁好用,不想搭建复杂的集群等等。本文总结了一个简易的安装过程。

1.下载安装

很多材料说mac上可以直接使用这个命令来全部自动安装

brew install kafka

但是这么做可能会导致一些组件下载超时或者失败,你应该先换一下brew的数据源。

常见的源有清华源、阿里云、腾讯源。方法也很简单,从下面三个选择一个,依次执行下面的命令就行了。

清华源:
# 替换brew.git
cd "$(brew --repo)"
git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git

# 替换homebrew-core.git
cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"
git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/homebrew-core.git

# 刷新源
brew update

亲测可用,如果想用其他的,请自行查一下。

之后执行brew install kafka安装,快结束的时候提示:

Error: Permission denied @ apply2files - /usr/local/lib/docker/cli-plugins

查了一下执行这个命令就能解决问题:sudo chown -R $(whoami) $(brew --prefix)/*

没兴趣查为什么,能用就行。

之后就自动将zk和kafka都依赖的都给安装好了。

2 启动测试

启动之前,我们配置一下端口号,使用命令:

vim /usr/local/etc/kafka/server.properties
增加如下的配置:
listeners=PLAINTEXT://localhost:9092

接着就是启动了,根据网上的材料我们分别启动zk和kafka:

brew services start zookeeper
brew services start kafka

如果看到这样的界面就成功了:

 然后根据说明,可以根据下面的命令建topic了,但是很遗憾出错了。

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

错误信息提示zookeeper无法识别,这是因为最新的kafka已经抛弃zk了,所以这里不再识别zookeeper参数。正确的方式是使用下面的命令:

kafka-topics  --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test1

然后生产端发送测试代码:

kafka-console-producer --broker-list localhost:9092 --topic test1

此时会提醒你输入几条信息,如下所示:

 这就说明是在持续监听你的输入,你每输入一次,就将其作为生产的消息推送出去。

我们打开一个新窗口,执行命令:

kafka-console-consumer --bootstrap-server localhost:9092  --topic test1 --from-beginning

这时候可以看到如下输出:

 这就说明一切都正常工作了。

接下来就可以愉快的玩耍kafka了。

以上是关于mac 搭建单机版kafka完整过程-基于kafka3.0的主要内容,如果未能解决你的问题,请参考以下文章

kafka环境搭建 02kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 kafka 集群)

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十九)待整理

kafkaKafka 快速入门

kafka单机环境搭建及其基本使用

从零开始搭建Kafka集群遇到的问题

Linux下kafka集群搭建过程记录