Linux安装flume和集成kafka测试

Posted 2021-04-30 小7编程

Linux安装flume和集成kafka测试

一.前期准备

1.1 kafka+zookeeper集群环境以安装

1.2 下载flume

本文使用flume1.7

二.配置flume

2.1 上传flume

2.2 配置环境变量

2.3 配置flume-env

三.测试flume+kafka

kafka接受flume监控数据

3.1 配置flume-conf

3.2 编写简单Shell脚本abc.sh，并修改权限为可执行权限

3.3 启动zookeeper和kafka

详情见：http://blog.csdn.net/a123demi/article/details/70279296

3.4 kafka消费者监听flumeTest主题

bin/kafka-console-consumer.sh --zookeeper 192.168.32.128:2181,192.168.32.131:2181,192.168.32.132:2181 --topic flumeTest --from-beginning

3.5 启动flume

./bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties -Dflume.root.logger=INFO,console

注意：-n agent中要与flume-conf配置文件中agent对应

3.6 运行abc.sh

./abc.sh

3.7 输出结果

kafka消费者接受数据

伙伴们