Kafka分布式安装及验证测试

Posted lipeng_bigdata

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka分布式安装及验证测试相关的知识,希望对你有一定的参考价值。

        一、安装

        Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。

        (一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:


        我选择的是Kafka0.9.0.1版本,如下:


        (二)Kafka安装步骤

        1、解压

        执行tar命令,如下:


        解压后目录如下:


        其中,bin目录如下:


        config目录如下:


        2、修改参数配置

        编辑config/server.properties文件,如下:


        修改的参数包括:

        2.1、ZooKeeper连接地址:zookeeper.connect


        2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)



        2.3、主机名:host.name



        2.4、分区数目:num.partitions


        2.5、日志地址:log.dirs


        3、启动

        执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties & 

        4、停止

        执行停止命令bin/kafka-server-stop.sh报错,如下:


        所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:

        先查找进程号



        再直接kill



        二、验证测试

        进入kafka根目录

        1、创建topic

        bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create


        2、查看topic

        bin/kafka-topics.sh -zookeeper server3:2181 -list


        其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion

        3、创建producer

        bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic

        4、创建consumer

        bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic

        5、producer发布


        6、consumer订阅


        可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!

以上是关于Kafka分布式安装及验证测试的主要内容,如果未能解决你的问题,请参考以下文章

Kafka 安装及快速入门

kafka的安装部署及应用

kafka的安装部署及应用

分布式ELK+KAFKA日志采集 docker-compose

Kafka入门(安装及使用)

kafka 单机的安装和测试