躬行系列-Kafka集群部署

Posted 馒头

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了躬行系列-Kafka集群部署相关的知识,希望对你有一定的参考价值。

版本选择

kafka_2.12-0.11.0.3
版本号说明:kafka使用Scala开发的,前面的2.12是Scala的版本号,后面的才是kafka的版本号。
0.11的版本,已经是kafka比较完善的一个版本了,后面新版都是对streaming的各种增强。如果仅用作消息队列,那么用0.11版本即可。

下载地址

https://archive.apache.org/di...

部署细节

下载、上传、解压缩等过程省略。
主要的配置文件就是:/config/server.properties
关键配置:

#broker id必须全局唯一
broker.id=0
#log的位置就是实际数据存储的位置
log.dirs=/usr/local/kafka_2.12-0.11.0.3/data
#开启删除topic的功能
delete.topic.enable=true
#zookeeper集群配置
zookeeper.connect=192.168.1.73:2181,192.168.1.52:2181,192.168.1.102:2181

常用命令

启动:./kafka-server-start.sh -daemon ../config/server.properties
停止:./kafka-server-stop.sh stop

2021-08-29(注)

经实测,本机安装的openjdk11,kafka0.11版本不支持。
本人更换为jdk1.8后恢复正常。
大家也可以选择更新的kafka版本来使用,就不需要更换jdk了。

以上是关于躬行系列-Kafka集群部署的主要内容,如果未能解决你的问题,请参考以下文章

Kafka 入门之集群部署遇到问题

Kafka踩坑系列之一消费者拉不出数据

Debezium系列之:安装部署debezium详细步骤,并把debezium服务托管到systemctl

躬行系列-MySQL 8.0.20安装

如何在CDH集群中部署Kafka Manager

Kafka(四)集群之kafka