Flume

Posted 2020-12-13 alen-apple

一、概述

1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统

2.能够有效的收集、聚合、传输大量的日志数据

3.flume有2个版本：flume-og(flume09x)和flume-ng(flume1.x)，flume-og和flume-ng不兼容

二、基本概念

1.Event：将收集到的每一条日志都封装成一个Event对象 - 在Flume中流动的是Event，Event的格式采用了json格式来定义的，这个json串中包含了2个部分：headers和body

2.Flume中的组件是以Agent形式出现的，Agent包含：Source，Channel，Sink

　　a.Source：从源头采集数据

　　b.Channel：临时存储数据

　　c.Sink：将数据发往目的地

在flume的安装目录下，创建文件夹data，在data中创建一个文件basic.conf，内容如下　　

#给Agent起名为a1
#给source起名
a1.sources = s1
#给channel起名
a1.channels = c1
#给sink起名
a1.sinks = k1

#配置source
#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

#配置channel
#配置channel的类型
a1.channels.c1.type = memory
#配置channel的容量，多少条
a1.channels.c1.capacity = 10000
#配置往sink发送的数据量,每次1000条的量发送
al.channels.c1.transactionCapacity = 1000

#配置sink
#配置sink的类型
a1.sinks.k1.type = logger

#将source和channel绑定，一个source有多个channel
a1.sources.s1.channels = c1
#将sink和channel绑定，一个sink只有一个channel
a1.sinks.k1.channel = c1

执行命令：-n agent的名称，-c conf目录，-f 自定义的文件，-Dflume.root.logger 日志输出基本和位置

./flume-ng agent -n a1 -c ../conf/ -f ../data/basic.conf -Dflume.root.logger=INFO,console

另起一个ssh窗口，执行命令：nc hadoop101 8090，在控制台中输入数据，并回车

 

AVRO：avrosource.conf

 

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type = avro
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

 

bin目录下执行命令：./flume-ng agent -n a1 -c ../conf/ -f ../data/avrosource.conf -Dflume.root.logger=INFO,console  启动flume

 

 执行agent-avro客户端指令，在flume的安装目录的bin目录下：a.txt是需要进行操作的文件，必须存在

./flume-ng avro-client -H 0.0.0.0 -p 8090 -F /home/a.txt -c ../conf/ 

 

Exec Source：execsource.conof

a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=exec
a1.sources.r1.command=cat /home/a.txt

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

bin目录下执行命令：./flume-ng agent -n a1 -c ../conf/ -f ../data/execsource.conf -Dflume.root.logger=INFO,console

看到日志中 cat /home/a.txt 命令下有两条结果输出

 

Spooling Directory：监听目录下有文件的变化，spooldirsource.txt配置文件

在 /home下创建 flumedata目录

spooldirsource.txt文件： flume安装目录/data/spooldirsource.txt，内容如下

 

a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/home/flumedata

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

bin目录下执行命令：./flume-ng agent -n a1 -c ../conf/ -f ../data/spooldirsource.txt -Dflume.root.logger=INFO,console

在 /home目录下创建一个文件a.log，随意在a.log中写入内容

执行命令：mv a.log /home/flumedata ，在flumedata目录下会有 a.log.COMPLETED 文件

 

Sequence Generator Source --序列发生源

seqsource.conf 配置文件内容：

a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=seq

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

启动命令：./flume-ng agent -n a1 -c ../conf/ -f ../data/seqsource.conf -Dflume.root.logger=INFO,console