（01）Flume简介

Posted 2021-03-10 javasl

　　1、Flume简单介绍

　　Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

　　2、Flume体系结构

　　工作流程：

　　（1）外部数据源(web server)将Flume可识别的Event发送到Source;

　　（2）Source收到Event后存储到一个或多个Channel中;

　　（3）Channel保留Event直到Sink将其处理完毕;

　　（4）Sink从Channel中取出数据，并将其传输至外部存储（HDFS）

　　组件说明：

　　（1）Event：Flume处理数据元，可能是一条日志，一个Avro对象等，通常约4kb大小

　　（2）Agent：Flume运行实体，每台机器一份，可能包括多个Source或者Sink

　　（3）Client：产生Event，在单独线程中运行

　　（4）Source：接收Event，并送入Channel，在单独线程中运行并监控

　　（5）Sink：从Channel接收Event，可能进行下一步转发（如连与另外某Source通讯），在单独线程中运行并监控