Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager

Posted 2023-03-18

参考技术A 这里我们用最简单的方式创建一个独立的Zookeeper节点，如果要考虑zookeeper的高可用，可以将其做成一个集群，最好是能有多台机器。

默认的，容器内配置文件在，/conf/zoo.cfg，数据和日志目录默认在/data 和 /datalog，需要的话可以将上述目录映射到宿主机的可靠文件目录下。

使用docker命令可快速在同一台机器搭建多个kafka，只需要改变brokerId和端口

中间两个参数的 192.168.0.102 改为 宿主机器 的IP地址，如果不这么设置，可能会导致在别的机器上访问不到 kafka。

或者可以通过 kafka-manager 创建

在kafka容器中的 opt/kafka_2.12-1.1.0/ 目录下输入

显示每个分区的Leader机器为broker0，在broker0和1上具有备份，Isr代表存活的备份机器中存活的。

当停掉kafka1后，

再查看topic状态，输出结果：

kafka-manager 有图形化UI，可以方便的监控集群状态，调整队列配置

容器启动以后访问主机的9000端口，0.0.0:9000

首次进入需要添加一个集群标识，如下图所示

配置好以后，通过Zookeeper该管理节点可以读取到整个Kafka集群的信息，并且我们可以通过JMX直接看到集群的健康状态

也可以看到主题的读写速度，偏移量等信息，如下图所示：

Brokers ,Partitions,Replicas 都能看到

以及 group:

https://blog.csdn.net/lblblblblzdx/article/details/80548157

https://blog.csdn.net/lblblblblzdx/article/details/80548294

原文地址: mac 使用 docker搭建 kafka集群 + Zookeeper + kafka-manager

二 用docker compose搭建kafka集群

参考技术A 本地一台机器，想要模拟多台机器搭建kafka集群，可以通过docker来实现。在另一篇 两种方式搭建Zookeeper伪集群：纯手工或使用Docker compose 里，尝试了如何用docker compose来搭建一个zookeeper集群。在此基础上，我们用docker compose搭建一个kafka集群。