Kafka-kraft模式架构及部署流程

Posted 蚂蚁和日出

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka-kraft模式架构及部署流程相关的知识,希望对你有一定的参考价值。

一. Kafka-kraft架构

由于Kafka依赖于zookeeper集群做元数据管理,2.8版本以后kafka引入kraft代替zk,图为zk模式的架构和kraft模式的架构对比


左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由 controller 进行 Kafka 集群管理。右图为 kraft 模式架构,不再依赖 zookeeper 集群, 而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。

这样做的好处有以下几个:

  • Kafka 不再依赖外部框架,而是能够独立运行;
  • controller 管理集群时,不再需要从 zookeeper 中先读取数据,集群性能上升;
  • 由于不依赖 zookeeper,集群扩展时不再受到 zookeeper 读写能力限制;

二. Kafka-kraft部署流程

1. 下载并安装2.8版本以后的kafka,并切换到config/kraft目录下

2. 修改server.properties文件

3. 生成存储目录唯一id

bin/kafka-storage.sh random-uuid

4.  用该id格式化kafka存储目录

bin/kafka-storage.sh format -t 6iKNOdeiSvaaypYCcWKsYw -c config/kraft/server.properties

5. 启动kafka

bin/kafka-server-start.sh -daemon config/kraft/server.properties

Kafka-Kraft 模式(不依赖Zookeeper)


Kafka-Kraft 模式

1. Kafka-Kraft 架构

Kafka-Kraft

左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。

这样做的好处有以下几个:

  • Kafka 不再依赖外部框架,而是能够独立运行;
  • controller 管理集群时,不再需要从 zookeeper 中先读取数据,集群性能上升;
  • 由于不依赖 zookeeper,集群扩展时不再受到 zookeeper 读写能力限制;
  • controller 不再动态选举,而是由配置文件规定。这样我们可以有针对性的加强

controller 节点的配置,而不是像以前一样对随机 controller 节点的高负载束手无策。

2 Kafka-Kraft 集群部署

1)解压一份 kafka 安装包

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

2)重命名为 kafka2

mv kafka_2.12-3.0.0/ kafka2

3)在 hadoop102 上修改/opt/module/kafka2/config/kraft/server.properties 配置文件

vim server.properties

#kafka 的角色(controller 相当于主机、broker 节点相当于从机,主机类似 zk 功 能)
process.roles=broker, controller
#节点 ID update
node.id=2
#controller 服务协议别名
controller.listener.names=CONTROLLER
#全 Controller 列表 update
controller.quorum.voters=2@hadoop102:9093,3@hadoop103:9093,4@hadoop104:9093
#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
#broker 服务协议别名
inter.broker.listener.name=PLAINTEXT
#broker 对外暴露的地址 update
advertised.Listeners=PLAINTEXT://hadoop102:9092
#协议别名到安全协议的映射
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLA
INTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
#kafka 数据存储目录 update
log.dirs=/opt/module/kafka2/data

4)分发 kafka2

xsync kafka2/
  • 在 hadoop103 和 hadoop104 上 需要对node.id 相应改变
  • 在 hadoop103 和 hadoop104 上需要 根据各自的主机名称,修改相应的advertised.Listeners

5)初始化集群数据目录

(1)首先生成存储目录唯一 ID。

bin/kafka-storage.sh random-uuid J7s9e8PPTKOO47PxzI39VA

(2)用该 ID 格式化 kafka 存储目录(三台节点依次执行)。

bin/kafka-storage.sh format -t J7s9e8PPTKOO47PxzI39VA -c /opt/module/kafka2/config/kraft/server.properties

6)启动 kafka 集群

bin/kafka-server-start.sh -daemon config/kraft/server.properties

bin/kafka-server-start.sh -daemon config/kraft/server.properties

bin/kafka-server-start.sh -daemon config/kraft/server.properties

7)停止 kafka 集群

bin/kafka-server-stop.sh

bin/kafka-server-stop.sh

bin/kafka-server-stop.sh

3 Kafka-Kraft 集群启动停止脚本

1)在/home/atguigu/bin 目录下创建文件 kf2.sh 脚本文件

vim kf2.sh


#! /bin/bash
case $1 in
"start")
for i in hadoop102 hadoop103 hadoop104
do
echo " --------启动 $i Kafka2-------"
ssh $i "/opt/module/kafka2/bin/kafka-server-start.sh -
daemon /opt/module/kafka2/config/kraft/server.properties"
done
;;
"stop")
for i in hadoop102 hadoop103 hadoop104
do
echo " --------停止 $i Kafka2-------"
ssh $i "/opt/module/kafka2/bin/kafka-server-stop.sh "
done
;;
esac

2)添加执行权限

chmod +x kf2.sh

3)启动集群命令

kf2.sh start

4)停止集群命令

kf2.sh stop


以上是关于Kafka-kraft模式架构及部署流程的主要内容,如果未能解决你的问题,请参考以下文章

Kafka-Kraft 模式(不依赖Zookeeper)

kafkakafka3.0-kRaft集群模式搭建

Kafka

Kafka

Kafka

kafka