flume整合kafka

Posted 2020-11-10 数月亮

一、需求

• 利用flume采集Linux下的文件信息，并且传入到kafka集群当中。
• 环境准备zookeeper集群和kafka集群安装好。

二、配置flume

• 官网下载flume。博主自己这里使用的是flume1.6.0。
• 官网地址http://flume.apache.org/download.html
• 解压缩。tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/apps/
• 创建flume配置文件。
• cd /usr/apps/flume/apache-flume-1.6.0-bin/conf
• vim exec.conf  flume配置文件如下

  1 a1.sources = r1
  2 a1.channels = c1
  3 a1.sinks = k1
  4 a1.sources.r1.type = exec
  5 a1.sources.r1.command = tail -F /usr/test/click_log/1.log
  6 a1.sources.r1.channels = c1
  7 a1.channels.c1.type=memory
  8 a1.channels.c1.capacity=10000
  9 a1.channels.c1.transactionCapacity=100
 10 #固定的不需要修改
 11 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
 12 #消息的主题
 13 a1.sinks.k1.topic = logMq
 14 #kafka broker集群
 15 a1.sinks.k1.brokerList = bhz136:9092,bhz137:9092,bhz139:9092
 16 a1.sinks.k1.requiredAcks = 1
 17 a1.sinks.k1.batchSize = 20
 18 a1.sinks.k1.channel = c1

三、启动flume连接到kafka

• ./bin/flume-ng agent -n a1 -c conf -f conf/exec.conf -Dflume.root.logger=INFO,console

四、启动kafka消费者消费数据

• kafka-console-consumer.sh --zookeeper bhz136:2181 --from-beginning --topic logMq

五、运行测试程序。测试结果如下：

注：1.log文件是通过以下脚本生成的测试文件

  1 for((i=0;i<=50000;i++));
  2         do echo "message-"+$i >>/usr/test/click_log/1.log;
  3 done