大数据日志采集工具Flume

Posted 2021-04-30 大数据平台

一、Flume简介

　　Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于Cloudera。

　　但随着Flume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在FlumeOG的最后一个发行版本0.9.4.中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011年10月22号，Cloudera完成了Flume-728，对Flume进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为FlumeNG（nextgeneration）；改动的另一原因是将Flume纳入apache旗下，ClouderaFlume改名为ApacheFlume。

二、Flume特点

　　Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。

　　Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。

　　Sink负责持久化日志或者把事件推向另一个Source。

　　1）Flume的可靠性

　　当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：

End-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。）

Store-on-failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送）

Best-effort（数据发送到接收方后，不会进行确认）。

　　2）Flume的可恢复性

　　还是靠Channel。推荐使用FileChannel，事件持久化在本地文件系统里(性能较差)。

三、Flume的一些核心概念

　　Client：Client生产数据，运行在一个独立的线程。

　　Event：一个数据单元，由消息头和消息体组成。（Events可以是日志记录、avro对象等。）

　　Flow：Event从源点到达目的点的迁移的抽象。

　　Agent：一个独立的Flume进程，包含组件Source、Channel、Sink。（Agent使用JVM运行Flume。每台机器运行一个Agent，但是可以在一个Agent中包含多个Sources和Sinks。）

　　Source：数据收集组件。（Source从Client收集数据，传递给Channel）

　　Channel：中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接Sources和Sinks，这个有点像一个队列。）

　　Sink：从Channel中读取并移除Event，将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

3.1、Agent结构　　

　　Flume运行的核心是Agent。Flume以Agent为最小的独立运行单位。一个Agent就是一个JVM。它是一个完整的数据收集工具，含有三个核心组件，分别是

　　Source、Channel、Sink。通过这些组件，Event可以从一个地方流向另一个地方，如下图所示。

3.2、Source

　　Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event）里，然后将事件推入Channel中。Flume提供了很多内置的Source，支持Avro，log4j，syslog和httppost(body为json格式)。可以让应用程序同已有的Source直接打交道，如AvroSource，SyslogTcpSource。如果内置的Source无法满足需要，Flume还支持自定义Source。

Source类型：

3.3、Channel

　　Channel是连接Source和Sink的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上，直到Sink处理完该事件。介绍两个较为常用的Channel，MemoryChannel和FileChannel。

　　Channel类型：

3.4、Sink

　　Sink从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、hadoop存数据，也可以是其他Agent的Source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。　　

Sink类型：

四、Flume拦截器、数据流以及可靠性

4.1、Flume拦截器

　　当我们需要对数据进行过滤时，除了我们在Source、Channel和Sink进行代码修改之外，Flume为我们提供了拦截器，拦截器也是chain形式的。

　　拦截器的位置在Source和Channel之间，当我们为Source指定拦截器后，我们在拦截器中会得到Event，根据需求我们可以对event进行保留还是抛弃，抛弃的数据不会进入Channel中。　

4.2、Flume数据流

　　1）Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

　　2）Flume传输的数据的基本单位是Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。Event从Source，流向Channel，再到Sink，本身为一个byte数组，并可携带headers信息。Event代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。

  值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source、Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。

　　比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink可以把日志写入HDFS，HBase，甚至是另外一个Source等等。Flume支持用户建立多级流，也就是说，多个agent可以协同工作，并且支持Fan-in、Fan-out、ContextualRouting、BackupRoutes，这也正是Flume强大之处。如下图所示：

4.3、Flume可靠性

　　Flume使用事务性的方式保证传送Event整个过程的可靠性。Sink必须在Event被存入Channel后，或者，已经被传达到下一站Agent里，又或者，已经被存入外部数据目的地之后，才能把Event从Channel中remove掉。这样数据流里的Event无论是在一个Agent里还是多个Agent之间流转，都能保证可靠，因为以上的事务保证了Event会被成功存储起来。比如Flume支持在本地保存一份文件Channel作为备份，而MemoryChannel将Event存在内存queue里，速度快，但丢失的话无法恢复。

五、Flume使用场景

　　Flume在英文中的意思是水道，但Flume更像可以随意组装的消防水管，下面根据官方文档，展示几种Flow。

5.1、多个Agent顺序连接

  可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。

5.2、多个Agent的数据汇聚到同一个Agent　

  这种情况应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。

5.3、多级流

　　Flume还支持多级流，什么多级流？结合在云开发中的应用来举个例子,当syslog，java，nginx、tomcat等混合在一起的日志流开始流入一个Agent后，可以Agent中将混杂的日志流分开，然后给每种日志建立一个自己的传输通道。

5.4、loadbalance功能

  上图Agent1是一个路由节点，负责将Channel暂存的Event均衡到对应的多个Sink组件上，而每个Sink组件分别连接到一个独立的Agent上。

六、Flume核心组件

　　Flume主要由3个重要的组件构成：

　　1）Source：完成对日志数据的收集，分成Transtion和Event打入到Channel之中

　　　　Flume提供了各种Source的实现，包括AvroSource、ExceSource、Spooling

　　　　DirectorySource、NetCatSource、SyslogSource、SyslogTCPSource、

　　　　SyslogUDPSource、HTTPSource、HDFSSource，etc。

　　2）Channel：FlumeChannel主要提供一个队列的功能，对source提供中的数据进行简单的缓存。Flume对于Channel，则提供了MemoryChannel、JDBCChanel、FileChannel，etc

　　3）Sink：FlumeSink取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。包括HDFSsink、Loggersink、Avrosink、FileRollsink、Nullsink、HBasesink，etc。

6.1、Source

　　SpoolSource如何使用？

　　在实际使用的过程中，可以结合log4j使用，使用log4j的时候，将log4j的文件分割机制设为1分钟一次，将文件拷贝到spool的监控目录。log4j有一个TimeRolling的插件，可以把log4j分割的文件到spool目录。基本实现了实时的监控。Flume在传完文件之后，将会修改文件的后缀，变为.COMPLETED（后缀也可以在配置文件中灵活指定）

　　ExecSource和SpoolSource比较

　　1）ExecSource可以实现对日志的实时收集，但是存在Flume不运行或者指令执行出错时，将无法收集到日志数据，无法何证日志数据的完整性。

　　2）SpoolSource虽然无法实现实时的收集数据，但是可以使用以分钟的方式分割文件，趋近于实时。

　　3）总结：如果应用无法实现以分钟切割日志文件的话，可以两种收集方式结合使用。

6.2、Channel

　　1）MemoryChannel可以实现高速的吞吐，但是无法保证数据完整性。

　　2）MemoryRecoverChannel在官方文档的建议上已经建义使用FileChannel来替换。

　　FileChannel保证数据的完整性与一致性。在具体配置不现的FileChannel时，建议FileChannel设置的目录和程序日志文件保存的目录设成不同的磁盘，以便提高效率。

6.3、Sink

　　FlumeSink在设置存储数据时，可以向文件系统中，数据库中，hadoop中储数据，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据。在日志数据较多时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。