zookeeper-kafka集群部署总结篇

Posted ms_senda

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了zookeeper-kafka集群部署总结篇相关的知识,希望对你有一定的参考价值。

zookeeper是作为一个数据管道存储kafka消息队列,上一篇已经解决怎样部署一个zookeeper集群,基于zookeeper集群基础上,本篇介绍怎样部署kafka集群。

mv kafka_2.13-2.4.0.tgz /usr/local

tar -zxvf kafka_2.11-2.4.0.tgz

mv kafka_2.11-2.4.0  kafka

配置kafka环境变量,首先打开profile文件

vim /etc/profile

#set kafka environment

export KAFKA_HOME=/usr/local/kafka

PATH=${KAFKA_HOME}/bin:$PATH

保存文件后,让该环境变量生效

source /etc/profile

依次修改集群服务器如下配置

vim /usr/local/kafka/config/server.properties

broker.id=1 #服务id 如3台集群分别是1,2,3

listeners=PLAINTEXT://192.168.1.x1:9092

zookeeper.connect=192.168.1.x1:2181,192.168.1.x2:2181,192.168.1.x3:2181

#分别在每台机器上启动kafka服务

/usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties 

#任意一台kafka服务器上创建 kafa topic 

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.1.x:2181 --replication-factor 3 --partitions 1 --topic test-topic #x 表示实际IP

#查看topic是否创建成功

/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.1.x:2181 --topic test-topic

如果出现以下情况表示创建成功

Topic: test-topic PartitionCount: 1 ReplicationFactor: 3 Configs:
Topic: test-topic Partition: 0 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1

备注: 没有在kafka目录下创建zookeeper ,指定myid

解决:

  cd kafka_2.11-1.1.0

  mkdir zookeeper
  cd zookeeper
  touch myid
  echo 0 > myid


重新启动kafka就ok

./bin/kafka-console-producer.sh --broker-list 192.168.1.9:9092 --topic topic-test #运行生产者发送消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.9:9092 --topic topic-test #运行消费者接收消息。

 

 

 

以上是关于zookeeper-kafka集群部署总结篇的主要内容,如果未能解决你的问题,请参考以下文章

zookeeper集群部署总结篇

高可用集群篇-- K8S部署微服务

一片非常有趣的文章 三分钟读懂TT猫分布式微服务和集群之路

zookeeper-kafka 单机安装

zookeeper-kafka 单机安装

高可用集群篇-- K8S快速入门及集群部署