Kafka_2.12-3.1.0集群环境搭建

Posted 若兰幽竹

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka_2.12-3.1.0集群环境搭建相关的知识,希望对你有一定的参考价值。

Kafka_2.12-3.1.0集群环境搭建

一、环境说明


目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息,在当前版本即2_12_3.1.0版本中内置有zookeeper,故针对zookeeper环境有两种
1. 使用内置的zookeeper
如果选择使用内置的zookeeper,则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容
2. 使用外部的zookeeper
需要提前安装好zookeeper集群

在本案例中,我们采用了外部的zookeeper,即搭建了三节点的集群zookeeper环境,以其作为Kafka2_12_3.1.0版本的元数据存储库。

  1. zookeeper环境配置如下
节点安装路径dataDir路径
hadoop002/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmp
hadoop003/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmp
hadoop004/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmp
  1. kafka环境配置如下
节点安装路径Log路径
hadoop002/training/kafka-cluster//training/kafka-cluster/kafka-logs/
hadoop003/training/kafka-cluster//training/kafka-cluster/kafka-logs/
hadoop004/training/kafka-cluster//training/kafka-cluster/kafka-logs/

二、安装步骤


  1. 上传Kafka安装包,解压安装

    tar -zvxf kafka_2.12-3.1.0.tgz -C /training
    
  2. 修改server.properties文件,只需要修改如下几项即可:

    broker.id=0
    log.dirs=/training/kafka-cluster/kafka-logs
    zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
    group.initial.rebalance.delay.ms=3
    

    其他配置默认即可

  3. 分发整个Kafka安装目录到其他节点

     scp -r /training/kafka-cluster root@hadoop003:/training/
     scp -r /training/kafka-cluster root@hadoop004:/training/
    
  4. 到其他两个节点分别修改server.properties中的broker.id为:1和2
    注意broker.id 不得重复

  5. 启动Kafka集群

    1. 先启动zookeeper集群(自行启动)
    2. 依次在hadoop002、hadoop003,hadoop004上启动Kafka集群,执行如下命令:
      kafka-server-start.sh server.properties &
      
      注意:该命令是相对路径下执行且以后台进程方式启动Kafka
    3. 验证: 三节点上执: jps命令即可看到进程名称为:Kafka

以上是关于Kafka_2.12-3.1.0集群环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

Kafka:ZK+Kafka+Spark Streaming集群环境搭建安装kafka_2.11-1.1.0

zookeeper集群环境搭建(使用kafka的zookeeper搭建zk集群)

kafka环境搭建 02kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 kafka 集群)

spark--环境搭建--5.kafka_292-081集群搭建

kafka三实例集群环境搭建及测试使用

linux虚拟机搭建Kafka集群环境