安装部署Kafka集群

Posted guoyansi19900907

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装部署Kafka集群相关的知识,希望对你有一定的参考价值。

kafka是一个开源的分布式消息订阅系统(消息中间件)

安装过程

1.下载kafka_2.11-0.10.1.0.gz(ps:千万不要下错了,博主就是下到了src文件上去了,kafka中的zookeeper起不起来)

2.上传至/usr/local/src

3.解压缩,并且移动到上级目录

4.进入主目录的config子目录,

5.修改server.properties配置文件

vim server.properties

内容如下:

技术分享图片

技术分享图片

6.保存并退出

7.主节点配置完毕,远程复制到另外两个节点

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local
scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi130:/usr/local

8.修改另外两个节点的server.properties 配置文件

修改内容分别如下:

主机:guoyansi129  

############################# Server Basics #############################
broker.id=1
host.name=guoyansi129

主机guoyansi130

############################# Server Basics #############################
broker.id=2
host.name=guoyansi130

 9.启动kafka的zookeeper服务

bin/zookeeper-server-start.sh config/zookeeper.properties

显示一些信息后;界面进入停顿状态;表示zookeeper启动成功;此时不要关闭窗口;

10.启动主节点的kafka服务

新开一个guoyansi128终端;

bin/kafka-server-start.sh config/server.properties

由于Kafka是作为守护进程加载的,执行上述命令后终端显示停顿状态,这表示系统已经处于后台运行状态,

所以不要关闭该终端,只要保持当前状态即可。

还可以另外开一个终端,执行jps查看当前系统的进程列表

技术分享图片

这里的QuorumPeerMain就是Kafka自带的zookeeper服务进程;

而kafka自然就是Kafka服务进程。

11.启动另外两个节点的Kafka服务;执行同样的命令:

bin/kafka-server-start.sh config/server.properties

12.主节点创建主题:

使用kafka,一定需要创建消息主题;

创建test主题

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test

技术分享图片

查看主题消息:

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181

技术分享图片

 

 13.另起终端创建消息生产者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test

界面处于等待状态

14.另起终端创建消息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning

此时界面同样处于等待状态

15.从13步的界面(生产者界面)输入信息,就会从14步(接收者界面)看到生产者界面输入的信息。 技术分享图片

16.查看主题中的信息:

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test

技术分享图片

 

以上是关于安装部署Kafka集群的主要内容,如果未能解决你的问题,请参考以下文章

Kafka集群部署

Kafka集群安装部署

Kafka集群部署与测试

kafka集群管理工具kafka-manager部署安装

Kafka单节点至集群的安装部署及注意事项

流量分析系统---kafka集群部署