flume与hdfs

Posted 2020-11-28 kongzhagen

 

Flume定义：

Flume是Cloudera提供的一个高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构， 灵活简单。

 

为什么选用Flume

　　主要作用： 实时读取服务器本地磁盘的数据， 将数据写入到HDFS

 

 

 Flume的组织架构

　　1、最简单的组织架构

 

　　2、Flume流式处理过程

 

 

　　说明：

　　　　source: 数据输入端

　　　　　　常见类型： spooling directory, exec, syslog, avro, netcat等

　　　　channel:位于source和sink之间的缓冲区

　　　　　　memory: 基于内存缓存， 允许数据有丢失

　　　　　　file: 持久化channel, 系统宕机不会丢失数据

　　　　sink: 数据输出端

　　　　　　常见的目的地有: HDFS, Kafka, logger, avro, File, 自定义

　　　　Put事务流程:

　　　　　　doPut: 将批数据写入临时缓冲区putList

　　　　　　doCommit: 检查channel内存队列是否足够合并

　　　　　　doRollback: 内存队列空间不足， 回滚数据

　　　　Take事务流程:

　　　　　　doTake: 将批数据提取到临时缓冲区takeList

　　　　　　doCommit: 如果数据全部发送成功， 则清空临时缓冲区takeList

　　　　　　doRollback: 如果数据发送过程中出现异常， 则将临时缓冲区takeList中数据返还给channel