kafka1.0.0集群搭建

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka1.0.0集群搭建相关的知识,希望对你有一定的参考价值。

一、环境准备
1、软件
zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
kafka1.0.0 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/
java8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、硬件
? 机器:10.205.104.55
? 机器:10.205.102.52
? 机器:10.205.105.33
二、安装
jdk安装略
1、统一目录/opt
技术分享图片
2、安装zookeeper(三台机器同样操作)
cp conf/zoo_sample.cfg zoo.cfg
grep ^[^#] conf/zoo.cfg
技术分享图片
添加机器id到 dataDir=/opt/zookeeper-3.4.11/data目录下的myid文件中
机器:10.205.104.55 ==1
机器:10.205.102.52 ==2
机器:10.205.105.33 ==3
技术分享图片
每台机器都是同样的配置
启动zookeeper
bin/zkServer.sh start
检验
技术分享图片
3、安装kafka(每台机器broker.id不同。这里依此是0,1,2)
每台机器依此配置
技术分享图片
启动kafka(每台都启动)
bin/kafka-server-start.sh config/server-1.properties &
校验
技术分享图片
创建topic
bin/kafka-topics.sh --create --zookeeper 10.205.104.55:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
查看topic信息
bin/kafka-topics.sh --describe --zookeeper 10.205.104.55:2181 --topic my-replicated-topic
技术分享图片
推送信息
bin/kafka-console-producer.sh --broker-list 10.205.104.55:9092 --topic my-replicated-topic
消费信息
bin/kafka-console-consumer.sh --bootstrap-server 10.205.104.55:9092 --from-beginning --topic my-replicated-topic
安装完毕

以上是关于kafka1.0.0集群搭建的主要内容,如果未能解决你的问题,请参考以下文章

kubekey搭建集群环境

ES集群原理与搭建

Consul集群搭建

搭建hadoop集群,稳定运行多久

一般Redis集群搭建采用几台服务器?

ELK 集群搭建总结