安装kafka 集群 步骤

Posted yg_zhang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装kafka 集群 步骤相关的知识,希望对你有一定的参考价值。

 

1.下载

http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz

2.解压 

tar -zxvf kafka_2.11-2.1.0.tgz

3.创建两份配置文件

cd conf

cp server.properties  server1.properties

cp server.properties  server2.properties

4.创建两个log目录

cd logs

mkdir log1 log2

5.编辑配置文件

编辑 server1.properties,server2.properties

主要修改点

#broker id 在集群中必须唯一

broker.id=1

#监听端口

listeners=PLAINTEXT://:9001

#topic 分区数量

num.partitions=5

# 数据存储目录

log.dirs=/home/kafka/kafka_2.12-2.1.0/logs/log1

# zookpeer 配置

zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

两个文件不同的地方

broker.id,listeners,log.dirs 

6.启动kafka集群

./bin/kafka-server-start.sh -daemon config/server1.properties 

./bin/kafka-server-start.sh -daemon config/server2.properties 

7.验证集群

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic my-topic

创建一个my-topic 的 topic 

副本为1

分区数为5

实例1

技术分享图片

 

实例2

技术分享图片

 可以看到两个实例,一个实例上有3个分区,一个为两个分区。

 

以上是关于安装kafka 集群 步骤的主要内容,如果未能解决你的问题,请参考以下文章

CentOs 6.5安装Kafka集群步骤

安装Zookeeper和Kafka集群

Kafka集群部署

Kafka集群安装(CentOS 7环境下)

kafka集群管理工具kafka-manager部署安装

kafka集群部署步骤