搭建kafka cluster

Posted Els0n

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了搭建kafka cluster相关的知识,希望对你有一定的参考价值。

机器A和B,假设hostname和ip都是A, B

首先都下载kafka

wget http://www-eu.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
tar xzvf kafka_2.11-1.0.0.tgz

并且在A上安装好zookeeper,并且设kafka-A的zk为A:2181

A机器保持原样,去B机器修改config/server.properties

# 这个一定要设置,因为A是默认的0,要不一样
broker.id=1 
# 这里设zk
zookeeper.connect=A:2181

然后启动即可。因为都注册到一个zk,所以组成cluster,2个broker

在任意一个broker上都可以操作topic

#创建一个普通topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions 1 --topic test
#创建一个多节点的topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2  --partitions 1 --topic test_cluster

 

以上是关于搭建kafka cluster的主要内容,如果未能解决你的问题,请参考以下文章

这个代码片段究竟做了啥?

Kafka_2.12-3.1.0集群环境搭建

Docker环境下使用docker-compose一键式搭建kafka集群及kafka管理工具EFAK

ClassCastException:kafka.cluster.BrokerEndPoint无法强制转换为kafka.cluster

kafka一键启动kafka脚本

[Spark]Spark-streaming通过Receiver方式实时消费Kafka流程(Yarn-cluster)