flume

Posted sdifens

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume相关的知识,希望对你有一定的参考价值。

1.1           flume(日志收集系统)

1.1.1     flume介绍

 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
  flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区,它将保存事件直到Sink处理完该事件。

  Sink负责持久化日志或者把事件推向另一个Source。
  1)flume的可靠性
  当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Besteffort(数据发送到接收方后,不会进行确认)。

  2)flume的可恢复性
    还是靠Channel。推荐使用FileChannel,事件持久化在本地文件系统里(性能较差)。

1.1.2     flume工作原理

Flume事件定义为具有字节有效负载和可选字符串属性集的数据流单元。Flume代理是一个(JVM)进程,它承载组件,事件通过组件从外部源流向下一个目标(hop)。

 

Flume源使用外部源(如web服务器)交付给它的事件。外部源以目标水槽源可识别的格式向水槽发送事件。例如,Avro水槽源可用于从Avro客户机或流中的其他水槽代理接收Avro事件,该流从Avro接收器发送事件。可以使用Thrift Flume源定义类似的流,以接收来自Thrift Sink或Flume Thrift Rpc客户机或使用Flume Thrift协议生成的任何语言编写的Thrift客户机的事件。当Flume源接收到一个事件时,它将其存储到一个或多个通道中。通道是一个被动存储,它保存事件,直到它被水槽吸收为止。文件通道就是一个例子——它由本地文件系统支持。接收器将事件从通道中移除,并将其放入外部存储库中,如HDFS(通过Flume HDFS接收器)或将其转发到流中的下一个Flume代理(下一跳)的Flume源。给定代理中的源和接收器与通道中暂存的事件异步运行。

1.1.3     flume环境搭建

1.1.4     flume配置文件案例

监控nc通信实例

[/soft/flume/conf/name.conf]

       #声明三种组件

       a1.sources = r1

       a1.channels = c1

       a1.sinks = k1

       #定义source信息

       a1.sources.r1.type=netcat

       a1.sources.r1.bind=localhost

       a1.sources.r1.port=8888

       #定义sink信息

       a1.sinks.k1.type=logger

       #定义channel信息

       a1.channels.c1.type=memory

       #绑定在一起

       a1.sources.r1.channels=c1

       a1.sinks.k1.channel=c1

以上是关于flume的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之FlumeFlume进阶企业真实面试题

大数据技术之FlumeFlume进阶企业真实面试题

大数据技术之FlumeFlume概述Flume快速入门

大数据技术之FlumeFlume概述Flume快速入门

大数据技术之FlumeFlume概述Flume快速入门

fllume 入门