Flume简介与使用

Posted 2020-08-04 WOTGL

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flume简介与使用相关的知识，希望对你有一定的参考价值。

Flume简介与使用（一）——Flume安装与配置

Flume简介

　　Flume是一个分布式的、可靠的、实用的服务——从不同的数据源高效的采集、整合、移动海量数据。

　　分布式：可以多台机器同时运行采集数据，不同Agent的之前通过网络传输数据

　　可靠的：Flume会将采集的数据缓存在Channel里，当Sink确认数据被接收了后才会从Channel里删除

　　实用的：Flume的使用是非常简单可用的，易于扩展，只需要修改配置文件的选项，就可以定制不同的Source、Channel、Sink，这得益于其精妙的设计

　　Agent是Flume的一个JVM进程，其中包含Source、Channel、Sink三个组件，要采集的数据经过定制化的Source缓存到Channel，Channel是一个队列，Source向里面插入数据，Sink从里面取数据，当Sink确认数据被下一跳Agent或者DB等接收后会将数据从Channel删除。

　　Flume最巧妙的地方就是其模块化的设计。在实际的应用中要采集的数据可能会来自同的数据源，可以是命令的屏幕输出、应用程序的日志、网络流量等等，用户可以定制不同的Source来分别采集。同样也可以根据不同需求定制自己的Channel和Sink。下表是Flume1.6.0支持的部分组件类型

Source类型	说明
Avro Source	支持Avro协议（实际上是Avro RPC），内置支持
Thrift Source	支持Thrift协议，内置支持
Exec Source	基于Unix的command在标准输出上生产数据
JMS Source	从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过
Spooling Directory Source	监控指定目录内数据变更
Twitter 1% firehose Source	通过API持续下载Twitter数据，试验性质
Netcat Source	监控某个端口，将流经端口的每一个文本行数据作为Event输入
Sequence Generator Source	序列生成器数据源，生产序列数据
Syslog Sources	读取syslog数据，产生Event，支持UDP和TCP两种协议
HTTP Source	基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式
Legacy Sources	兼容老的Flume OG中Source（0.9.x版本）

Channel类型	说明
Memory Channel	Event数据存储在内存中
JDBC Channel	Event数据存储在持久化存储中，当前Flume Channel内置支持Derby
File Channel	Event数据存储在磁盘文件中
Spillable Memory Channel	Event数据存储在内存中和磁盘上，当内存队列满了，会持久化到磁盘文件（当前试验性的，不建议生产环境使用）
Pseudo Transaction Channel	测试用途
Custom Channel	自定义Channel实现

Sink类型	说明
Kafka Sink	把数据写入Kafka topic
Hive Sink	把数据写入Hive数据库或分区
HDFS Sink	数据写入HDFS
Logger Sink	数据写入日志文件
Avro Sink	数据被转换成Avro Event，然后发送到配置的RPC端口上
Thrift Sink	数据被转换成Thrift Event，然后发送到配置的RPC端口上
IRC Sink	数据在IRC上进行回放
File Roll Sink	存储数据到本地文件系统
Null Sink	丢弃到所有数据
HBase Sink	数据写入HBase数据库
Morphline Solr Sink	数据发送到Solr搜索服务器（集群）
ElasticSearch Sink	数据发送到Elastic Search搜索服务器（集群）
Kite Dataset Sink	写数据到Kite Dataset，试验性质的
Custom Sink	自定义Sink实现