flume学习---source

Posted 赵庆-BUPT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume学习---source相关的知识,希望对你有一定的参考价值。

绪论

  本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的,主要包括flume1.8.0支持的各种source(见表0.1)及其说明。

source类别 type 数据来源 说明
Avro Source avro external Avro client streams  
Thrift Source thrift external Thrift client streams  
Exec Source exec Unix command 该命令必须能够连续地在标准输出(控制台)产生数据,如cat、tail -f等。反例:date
JMS Source  jms JMS destination such as a queue or topic   可以使用任何JMS提供方,但只能使用ActiveMQ测试
Spooling Directory Source spooldir 磁盘上的某一具体目录 

 监测该目录中的文件变化并读取变动内容。

注意:1.将某个文件移动到该目录后,

       
       
       
       

 

 

 

 

 

 

 

一、Avro Source

  

以上是关于flume学习---source的主要内容,如果未能解决你的问题,请参考以下文章

Flume学习之路 Flume的Source类型

Flume NG 学习笔记Source配置

Flume学习笔记

flume1.8 开发指南学习感悟

Flume NG 学习笔记 TransactionSinkSource和Channel开发

Flume 学习笔记之 Flume NG概述及单节点安装