Kafka 完全分布式集群环境搭建

Posted jonban

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka 完全分布式集群环境搭建相关的知识,希望对你有一定的参考价值。

 

思路:

    先在主机s1上安装配置,然后远程复制到其它两台主机s2、s3上,

    并分别修改配置文件server.properties中的broker.id属性。

 

1、 搭建前准备

示例共三台主机,主机IP映射信息如下:

192.168.32.101 s1
192.168.32.102 s2
192.168.32.103 s3

 

搭建ZooKeeper 集群,搭建步骤参考:

https://www.cnblogs.com/jonban/p/zookeeper.html

 

2、下载 Kafka

下载地址:

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz

 

3、解压到 /opt 下

tar -zxvf kafka_2.12-2.2.0.tgz -C /opt/

 

4、配置

进入到安装目录

cd /opt/kafka_2.12-2.2.0/

 

创建日志文件目录

mkdir logs

 

修改配置文件  config/server.properties

vi /opt/kafka_2.12-2.2.0/config/server.properties

修改以下属性配置

broker.id=1
log.dirs=/opt/kafka_2.12-2.2.0/logs
zookeeper.connect=s1:2181,s2:2181,s3:2181

 

 

5、远程复制到其它两台主机s2,s3上

scp -r /opt/kafka_2.12-2.2.0/ [email protected]:/opt/
scp -r /opt/kafka_2.12-2.2.0/ [email protected]:/opt/

 

登录主机s2

ssh s2
vi /opt/kafka_2.12-2.2.0/config/server.properties

修改 config/server.properties 中的 broker.id=2

broker.id=2

  

登录主机s3

ssh s3
vi /opt/kafka_2.12-2.2.0/config/server.properties

修改 config/server.properties 中的 broker.id=3

broker.id=3

  

 

6、配置三台主机环境变量

vi /etc/profile

 

添加如下内容:

export KAFKA_HOME=/opt/kafka_2.12-2.2.0
export PATH=$PATH:$KAFKA_HOME/bin

 

使用source命令使配置立即生效

source /etc/profile

 

 

7、启动

启动ZooKeeper 集群

zkServer.sh start

 

启动Kafka

kafka-server-start.sh -daemon /opt/kafka_2.12-2.2.0/config/server.properties

 

 

8、查看状态

在三台主机上分别输入  jps  命令,查看集群状态,内容如下:

[[email protected] ~]# jps
2852 QuorumPeerMain
3180 Kafka

 

[[email protected] ~]# jps
2788 QuorumPeerMain
3433 Kafka

 

[[email protected] ~]# jps
2791 QuorumPeerMain
3128 Kafka

 

启动正常!

 

9、测试

创建主题

kafka-topics.sh --create --zookeeper s1:2181,s2:2181,s3:2181 --replication-factor 3 --partitions 3 --topic test

 

查看主题列表

kafka-topics.sh --list --zookeeper s1:2181,s2:2181,s3:2181

 

生产者

kafka-console-producer.sh --broker-list s1:9092,s2:9092,s3:9092 --topic test

 

消费者

kafka-console-consumer.sh --bootstrap-server s1:9092,s2:9092,s3:9092 --from-beginning --topic test

 

 

 

 

Kafka 完全分布式集群环境搭建

.

以上是关于Kafka 完全分布式集群环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

Kafka集群环境搭建

完全分布式Hadoop集群搭建

hadoop完全分布式集群搭建

kafka介绍和集群环境搭建

Linux下kafka集群搭建过程记录

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装