linux下安装kafka

Posted 2021-03-22 我没有领悟

linux下安装kafka

1、下载kafka

　　cd到/usr/local目录下，执行命令：wget https://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz下载

2、解压kafka_2.13-2.4.0.tgz文件

　　tar -zxvf kafka_2.13-2.4.0.tgz

3、启动服务

3.1 启动zookeeper
　　　　启动zk有两种方式，第一种是使用kafka自己带的一个zk：bin/zookeeper-server-start.sh config/zookeeper.properties 

　　　　另一种是使用其它的zookeeper，可以位于本机也可以位于其它地址。

　　　　这种情况需要修改kafka中config下面的server.properties里面的zookeeper地址 。例如zookeeper.connect=192.168.213.11:2181

　　　　成功启动zookeeper后才可以启动kafka。

　　 3.2 修改kafka下的config/server.properties 

　　　　修改log.dirs=/usr/local/kafka_2.13-2.4.0/kafka_logs   //日志文件路径  记得创建日志文件目录

              修改advertised.listeners=PLAINTEXT://192.168.1.19:9092   //配置对外访问的ip  如果不配置外网无法访问

　　 3.2 启动kafka     

　　　 执行命令：bin/kafka-server-start.sh config/server.properties 　　启动kafka 

            kafka如果直接启动会出现问题，就是信息会打印在控制台，就会出现在控制台。

            然后关闭窗口，kafka随之关闭，然后启动以下的命令就可以实现。

            bin/kafka-server-start.sh config/server.properties  1>/dev/null 2>&1 &

4、创建topic

        执行命令： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test　　创建topic

　　创建一个名为test的topic，只有一个副本，一个分区

　　通过list命令查看刚刚创建的topic

       执行命令：bin/kafka-topics.sh -list -zookeeper localhost:2181    查看

5、启动producer并发送消息启动producer

 执行命令：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test   启动producer 

 之后就可以发送消息了，例如：
 This is a message
 This is another message

 6、然后在另一个终端中，启动consumer

　　执行命令：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning