华为鲲鹏920云主机部署kafka集群（2.2.1版本）

Posted 2021-11-04 闭关苦炼内功

需求：老大要求在华为鲲鹏920云主机上部署kafka集群

当当当，文末有彩蛋

---

文章目录

• • • 0、准备工作
    • 1、开始部署
    • 2、启动集群
    • 3、测试集群
    • • • • a. 41创建topic
          • b. 3台分别查看topic
          • 41生产
          • 3台消费
    • 4、安利启动、关闭kafka集群脚本

0、准备工作

• 版本选择：kafka 2.2.1

• 规划在3台云主机上部署
  hadoop41
hadoop42
hadoop43

• 下载安装包
  wget http://archive.apache.org/dist/kafka/2.2.1/kafka_2.11-2.2.1.tgz

1、开始部署

cd /datafs/

• 解压
  tar -zxf kafka_2.11-2.2.1.tgz

• 配置
  mv kafka_2.11-2.2.1 kafka

• 创建安装目录、日志目录
  mkdir /datafs/kafka/logs

• 修改配置文件
  cd kafka/config/

vim server.properties

# 41
broker.id=0

log.dirs=/datafs/kafka/logs

# 集群连接
zookeeper.connect=hadoop41:2181,hadoop42:2181,hadoop43:2181

#修改最后一行（允许删除topic）
delete.topic.enable=true

自动分发（xsync脚本依赖之前这篇 blog ）

~/xsync /datafs/kafka hadoop42:/datafs/
~/xsync /datafs/kafka hadoop43:/datafs/

分发后，修改另外两台配置文件 server.properties

#42
broker.id=1

#43
broker.id=2

2、启动集群

3台都启动
/datafs/kafka/bin/kafka-server-start.sh -daemon /datafs/kafka/config/server.properties

然后jps查看Kafka进程

3、测试集群

a. 41创建topic

cd /datafs/kafka/bin

./kafka-topics.sh --create --zookeeper hadoop41:2181 --topic topic_0520 --partitions 5 --replication-factor 3

b. 3台分别查看topic

• 41

./kafka-topics.sh --describe --topic topic_0520 --zookeeper hadoop41:2181

• 42

./kafka-topics.sh --describe --topic topic_0520 --zookeeper hadoop42:2181

• 43

./kafka-topics.sh --describe --topic topic_0520 --zookeeper hadoop43:2181

41生产

./kafka-console-producer.sh --broker-list hadoop41:9092 --topic topic_0520

3台消费

• 41消费

./kafka-console-consumer.sh --bootstrap-server hadoop41:9092 --topic topic_0520

• 42消费

./kafka-console-consumer.sh --bootstrap-server hadoop42:9092 --topic topic_0520

• 43消费

./kafka-console-consumer.sh --bootstrap-server hadoop43:9092 --topic topic_0520

---

4、安利启动、关闭kafka集群脚本

使用脚本一键启动、一键关闭，就是那么easy

vim kafka-run.sh

#! /bin/bash

# - by blog:闭关苦炼内功
# https://blog.csdn.net/frdevolcqzyxynjds

case $1 in
"start"){
    for i in hadoop41 hadoop42 hadoop43
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/datafs/kafka/bin/kafka-server-start.sh -daemon /datafs/kafka/config/server.properties"
    done
};;
"stop"){
    for i in hadoop41 hadoop42 hadoop43
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/datafs/kafka/bin/kafka-server-stop.sh stop"
    done
};;
esac

给脚本授权（可执行权限）
chmod u+x ./kafka-run.sh

启动
./kafka-run.sh start

关闭
./kafka-run.sh stop