Flume介绍及其安装

Posted 2020-10-27

一. Flume是什么？

Flume是一个分布式，可靠的系统。它能够高效的收集，整合数据，还可以将来自不同源的大量数据移动到数据中心存储。

Flume是Apache下的一个顶级项目。Flume不仅可以收集整合日志数据，因为数据源是可以自定义的，Flume能够用于传输大量日志数据，这些数据包含到不仅限于网络传输数据、社交媒体生成的数据、邮件信息等等。

当前的版本有0.9.x和1.x。新版本具有更加灵活的配置和性能上的改进，推荐使用1.x版本。本文介绍使用的是1.8版本。

二.Flume的数据流模型

简单的讲，Flume Agent（一个JVM进程）将外部产生的事件发送给下一个目标也称成下一跳。

1.相关术语

• Flume event：它是实际就是数据。是Flume中数据最小传输单位，数据里面除了有效数据，还有一些可选的属性设置。
• Flume Source：会将收到的event放在一个或多个channel中
• Flume Channe：保存event知道event被一个Flume sink消费
• Flume Sink：会将channel中的event放入到一个外部源中，或者将其发送给下一个Flume agent的Flume source中。
  注意 : Flume source和sink与channel的交互式异步的。

2.Flume数据流向过程

如上图，外部事件源Web Server 将组织成具体格式的数据发送给Flume source。Flume source有多种，以Avro Flume Source为例，Avro Flume Source会收到来自Avro client或者Flume agent发来的数据（是由Flume sink从Channel中获取的数据）。Flume Source将数据放入Channel中。Flume Sink可将event发送给HDFS，不过此处的Sink要使用HDFS Sink。
注意： Source、Channel、Sink都有不同的实现，对应着不同的功能。

三. 安装Flume

1. 下载安装包

~]# wget http://archive.apache.org/dist/flume/stable/apache-flume-1.8.0-bin.tar.gz
~]# tar xf apache-flume-1.8.0-bin.tar.gz -C /opt
~]# cd /opt
~]# ln -sv apache-flume-1.8.0-bin.tar.gz apache-flume

2. 安装jdk

因为flume java程序，所以依赖jdk
jdk的版本要求为1.8.0+
~]# yum install -y java-1.8.0-openjdk

3. 配置文件

修改配置文件conf/flume-conf.properties.template

（1）单个组件配置

~]# vim conf/flume-conf.properties.template

#对这个flume agent取一个名字，称之为agent01。这个名字可以任意取
agent01.sources = r1     # 在flume agent中source的名字为r1。这个名字可以任意取
agent01.sinks = k1         # 在flume sinks中sinks的名字为k1。这个名字可以任意取
agent01.channels = c1   # 在flume agent中channels的名字为c1。这个名字可以任意取

#设置flume source参数
agent01.sources.r1.type = netcat           #agent01这个flume agent中源r1的类型为netcat，监听在指定的ip+port以接受数据
agent01.sources.r1.bind = localhost       #指明绑定的端口
agent01.sources.r1.port = 44444           #指明监听的端口

#设置flume sink
agent01.sinks.k1.type = logger    #会记录info级别的信息，主要用于调试

#配置flume channel
agent01.channels.c1.type = memory   #使用memory类型的channel，他会将event保存在内存中
agent01.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#指定source和sink绑定的channel
agent01.sources.r1.channels = c1   #r1会将event发给c1 channel
agent01.sinks.k1.channel = c1         #k1会从c1中消费event

（2）多flow agent配置

一个flume agent可以配置多个flow，我们可以有多个sources，channel，sink。这些组件的组合可以形成多个数据流（data flow）。

使用场景：可以同时配置多个flow，这两个流相互干扰。以下面为例，
一条流为 : avro-AppSrv-source1-->mem-channel-1--> mem-channel-1
另一条为 : exec-tail-source2--> file-channel-2 --> file-channel-2

#list the sources, sinks and channels in the agent
agent_foo.sources = avro-AppSrv-source1 exec-tail-source2
agent_foo.sinks = hdfs-Cluster1-sink1 avro-forward-sink2
agent_foo.channels = mem-channel-1 file-channel-2

#flow #1 configuration
agent_foo.sources.avro-AppSrv-source1.channels = mem-channel-1
agent_foo.sinks.hdfs-Cluster1-sink1.channel = mem-channel-1

#flow #2 configuration
agent_foo.sources.exec-tail-source2.channels = file-channel-2
agent_foo.sinks. file-channel-2.channel = file-channel-2

（3）Fan out flow

支持将一个source中的数据发往多个channel中，Fan out 有两种模式

• replicating : 事件会发往多个channel
• multiplexing : 事件会发往经由selector过滤符合要求的channel，如果不指明默认是replicating
  配置示例：

#list the sources, sinks and channels in the agent
agent_foo.sources = avro-AppSrv-source1
agent_foo.sinks = hdfs-Cluster1-sink1 avro-forward-sink2
agent_foo.channels = mem-channel-1 file-channel-2

#set channels for source
agent_foo.sources.avro-AppSrv-source1.channels = mem-channel-1 file-channel-2

#set channel for sinks
agent_foo.sinks.hdfs-Cluster1-sink1.channel = mem-channel-1
agent_foo.sinks.avro-forward-sink2.channel = file-channel-2

#channel selector configuration
agent_foo.sources.avro-AppSrv-source1.selector.type = multiplexing
agent_foo.sources.avro-AppSrv-source1.selector.header = State
agent_foo.sources.avro-AppSrv-source1.selector.mapping.CA = mem-channel-1
agent_foo.sources.avro-AppSrv-source1.selector.mapping.AZ = file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.mapping.NY = mem-channel-1 file-channel-2
agent_foo.sources.avro-AppSrv-source1.selector.default = mem-channel-1

selector.header指定检测的头部的名称，上面配置为State。如果值是“CA”event将会发往mem-channel-1，如果值是“AZ”event将会发往file-channel-2，如果是“NY”将会发往 mem-channel-1和file-channel-2。如果都没有匹配到，则会发往默认channel mem-channel-1
需要注意：一旦指定的channel不能消费事件，selector会在所有的channel中重试。

4. 启动flume agent

以单个组件配置方式启动flume agent
apache-fluem]# bin/flume-ng agent --conf ./conf --conf-file ./conf/flume-conf.properties.template --name agent01

agent：表明运行为flume agent
--conf ：指明配置文件目录
--conf-file：指明配置我文件
--name：指明运行agent的名称

可以看到端口已经监听

5. 测试是否正常

连接成功后，输入任意的字符串，如果正常会返回OK

参考

对于不同source，channel以及sink的使用可以参考官方文档
Flume官网文档：http://flume.apache.org/FlumeUserGuide.html