安装部署Kafka集群

Posted 2021-01-20 guoyansi19900907

kafka是一个开源的分布式消息订阅系统（消息中间件）

安装过程

1.下载kafka_2.11-0.10.1.0.gz（ps:千万不要下错了，博主就是下到了src文件上去了，kafka中的zookeeper起不起来）

2.上传至/usr/local/src

3.解压缩，并且移动到上级目录

4.进入主目录的config子目录，

5.修改server.properties配置文件

vim server.properties

内容如下：

6.保存并退出

7.主节点配置完毕，远程复制到另外两个节点

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local
scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi130:/usr/local

8.修改另外两个节点的server.properties 配置文件

修改内容分别如下：

主机：guoyansi129　　

############################# Server Basics #############################
broker.id=1
host.name=guoyansi129

主机guoyansi130

############################# Server Basics #############################
broker.id=2
host.name=guoyansi130

 9.启动kafka的zookeeper服务

bin/zookeeper-server-start.sh config/zookeeper.properties

显示一些信息后；界面进入停顿状态；表示zookeeper启动成功；此时不要关闭窗口；

10.启动主节点的kafka服务

新开一个guoyansi128终端；

bin/kafka-server-start.sh config/server.properties

由于Kafka是作为守护进程加载的，执行上述命令后终端显示停顿状态，这表示系统已经处于后台运行状态，

所以不要关闭该终端，只要保持当前状态即可。

还可以另外开一个终端，执行jps查看当前系统的进程列表

这里的QuorumPeerMain就是Kafka自带的zookeeper服务进程；

而kafka自然就是Kafka服务进程。

11.启动另外两个节点的Kafka服务；执行同样的命令：

bin/kafka-server-start.sh config/server.properties

12.主节点创建主题：

使用kafka，一定需要创建消息主题；

创建test主题

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test

查看主题消息：

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181

 

 13.另起终端创建消息生产者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test

界面处于等待状态

14.另起终端创建消息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning

此时界面同样处于等待状态

15.从13步的界面（生产者界面）输入信息，就会从14步（接收者界面）看到生产者界面输入的信息。

16.查看主题中的信息：

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test