Kafka_2.12-3.1.0集群环境搭建
Posted 若兰幽竹
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka_2.12-3.1.0集群环境搭建相关的知识,希望对你有一定的参考价值。
Kafka_2.12-3.1.0集群环境搭建
一、环境说明
目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息,在当前版本即2_12_3.1.0版本中内置有zookeeper,
故针对zookeeper环境有两种
:
1. 使用内置的zookeeper
如果选择使用内置的zookeeper,则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper
需要提前安装好zookeeper集群
在本案例中,我们采用了外部的zookeeper
,即搭建了三节点的集群zookeeper环境,以其作为Kafka2_12_3.1.0版本的元数据存储库。
- zookeeper环境配置如下:
节点 | 安装路径 | dataDir路径 |
---|---|---|
hadoop002 | /training/zookeeper-3.4.5 | /training/zookeeper-3.4.5/tmp |
hadoop003 | /training/zookeeper-3.4.5 | /training/zookeeper-3.4.5/tmp |
hadoop004 | /training/zookeeper-3.4.5 | /training/zookeeper-3.4.5/tmp |
- kafka环境配置如下:
节点 | 安装路径 | Log路径 |
---|---|---|
hadoop002 | /training/kafka-cluster/ | /training/kafka-cluster/kafka-logs/ |
hadoop003 | /training/kafka-cluster/ | /training/kafka-cluster/kafka-logs/ |
hadoop004 | /training/kafka-cluster/ | /training/kafka-cluster/kafka-logs/ |
二、安装步骤
-
上传Kafka安装包,解压安装
tar -zvxf kafka_2.12-3.1.0.tgz -C /training
-
修改
server.properties
文件,只需要修改如下几项即可:broker.id=0 log.dirs=/training/kafka-cluster/kafka-logs zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181 group.initial.rebalance.delay.ms=3
其他配置默认即可
-
分发整个Kafka安装目录到其他节点
scp -r /training/kafka-cluster root@hadoop003:/training/ scp -r /training/kafka-cluster root@hadoop004:/training/
-
到其他两个节点分别修改server.properties中的
broker.id
为:1和2
,
注意:broker.id 不得重复
-
启动Kafka集群
- 先启动zookeeper集群(自行启动)
- 依次在hadoop002、hadoop003,hadoop004上启动Kafka集群,执行如下命令:
kafka-server-start.sh server.properties &
注意:该命令是相对路径下执行且以后台进程方式启动Kafka
- 验证: 三节点上执:
jps
命令即可看到进程名称为:Kafka
以上是关于Kafka_2.12-3.1.0集群环境搭建的主要内容,如果未能解决你的问题,请参考以下文章
Kafka:ZK+Kafka+Spark Streaming集群环境搭建安装kafka_2.11-1.1.0
zookeeper集群环境搭建(使用kafka的zookeeper搭建zk集群)
kafka环境搭建 02kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 kafka 集群)