（十三）从零开始搭建k8s集群——使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务

Posted 2022-04-28 北溟溟

前言

kafka是分布式环境下常用的MQ消息中间键之一，能够实现流量削峰、异步解耦等等功能，大数据环境下常常使用其实现海量数据的收集。本节内容我们主要介绍一下使用kubesphere平台安装一个k8s环境下依赖zookeeper服务的高可用的kafka集群服务。关于zookeeper的集群服务安装，请读者参考作者往期博客内容，关注我，不迷路。

正文

• 关于kafka的docker镜像资源的说明

①kafka的docker官方镜像不能直接用于此次集群服务搭建，由于官方kafka镜像在k8s环境中节点broker.id不能根据k8s的规则动态配置，这里我们需要根据实际需求定制我们可以动态改变kafka中broker.id节点的镜像。或者通过镜像启动命令参数动态写入其配置。作者这里选择第一种方案，通过定制其k8s环境下的镜像实现节点broker.id动态赋值。

②这里使用的镜像是：ydockerp/kafka:3.1.0

• kafka集群服务搭建

- 点击应用负载-服务-创建-有状态服务 

- 填写kafka基本配置信息，点击下一步

- 选择容器组副本数量为3，这里根据自己实际需求选择，点击添加镜像

- 填写kafka镜像，ydockerp/kafka:3.1.0，加载完镜像，选择使用默认端口

- 勾选环境变量，填写zookeeper集群服务的客户端地址，使kafka集群可以连接上zookeeper集群服务，注意，这里的变量名只能按照作者ZOOKEEPER_CONNECT这个变量名填写，这是作者构建镜像启动kafka服务用到的环境变量；并勾选同步主机时区，点对号添加

 - 点击下一步，添加存储卷模板

- 添写存储卷基本信息，点对号添加，点击下一步

 - 点击创建，完成kafka集群创建

• kafka集群验证

- 点击进入kafka的任意一个节点

- 通过kafka命令创建一个kafka的主题first

#创建主题
./bin/kafka-topics.sh --bootstrap-server app-kafka-v1-0.app-kafka.app.svc.cluster.local:9092 --create --topic first --partitions 3 --replication-factor 3

- 通过kafka命令查询创建的主题详细信息

./bin/kafka-topics.sh --bootstrap-server app-kafka-v1-0.app-kafka.app.svc.cluster.local:9092 --describe --topic first

结语

到这里使用KubeSphere管理平台搭建一个高可用的zookeeper版kafka集群服务就结束了，创作不易，别忘了关注、收藏、加点赞哦，我们下期见。。。