Kafka分布式安装及验证测试

Posted 2020-07-02 lipeng_bigdata

        一、安装

        Kafka依赖于ZooKeeper，所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper，但是还是建议大家单独部署ZooKeeper集群，因为可能其他框架也需要使用ZooKeeper。

        （一）、Kafka下载地址：http://mirrors.hust.edu.cn/apache/kafka/，你可以选择你需要的版本，如下：

        我选择的是Kafka0.9.0.1版本，如下：

        （二）Kafka安装步骤

        1、解压

        执行tar命令，如下：

        解压后目录如下：

        其中，bin目录如下：

        config目录如下：

        2、修改参数配置

        编辑config/server.properties文件，如下：

        修改的参数包括：

        2.1、ZooKeeper连接地址：zookeeper.connect

        2.2、Broker的ID：broker.id（每个Broker保持唯一，可从0开始递增编号）

        2.3、主机名：host.name

        2.4、分区数目：num.partitions

        2.5、日志地址：log.dirs

        3、启动

        执行命令：JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties & 

        4、停止

        执行停止命令bin/kafka-server-stop.sh报错，如下：

        所以，我们不得不通过直接kill进程的命令来停止Kafka，如下：

        先查找进程号

        再直接kill

        二、验证测试

        进入kafka根目录

        1、创建topic

        bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create

        2、查看topic

        bin/kafka-topics.sh -zookeeper server3:2181 -list

        其中，test为之前所创建的topic，已被删除，所以后面标注为：marked for deletion

        3、创建producer

        bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic

        4、创建consumer

        bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic

        5、producer发布

        6、consumer订阅

        可以看到，producer发布了三条消息，分别为"wo shi zhong guo ren"、"dududu"、"hahaha"，而consumer收到了三条一样的消息，验证测试完毕，Kafka已正确安装并成功运行！