flume学习---sink

Posted 赵庆-BUPT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume学习---sink相关的知识,希望对你有一定的参考价值。

本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的,主要内容是总结了flume1.8.0支持的各种sink,见下表。

sink名称 type 数据目的地 工作方式 备注
HDFS Sink hdfs HDFS    
Hive Sink hive hive    
Logger Sink logger 自定义 日志级别为INFO,主要用于调试  
Avro Sink avro 外部avro客户端

将接收到的events转换成avro events

并发送给指定地址的avro客户端

 
Thrift Sink thrift 外部thrift客户端

将接收到的events转换成thrift events

并发送给指定地址的avro客户端

 
IRC Sink irc IRC目的地    
File Roll Sink file_roll 本地文件系统    
Null Sink null 丢弃所有数据  
Hbase Sink hbase Hbase 这两个sink同属一个大类:HbaseSinks  
AsyncHbaseSink asynchbase Hbase(异步模式)  
MorphlineSolrSink

 org.apache.flume.

sink.solr.morphline.

MorphlineSolrSink

Apache Solr servers

This sink extracts data from Flume events,

transforms it, and loads it in near-real-time

into Apache Solr servers, which in turn serve

queries to end users or search applications.

 
ElasticSearchSink

 org.apache.flume.

sink.elasticsearch.

ElasticSearchSink

elasticsearch cluster    
Kite Dataset Sink

org.apache.flume.

sink.kite.DatasetSink

 Kite Dataset    
Kafka Sink

org.apache.flume.

sink.kafka.KafkaSink

 Kafka topic    
HTTP Sink

http

一个URI地址(POST)    
Custom Sink

自定义FQCN

自定义    

 

 

 

 

 

 

 

 

 

 

 

 

 

以上是关于flume学习---sink的主要内容,如果未能解决你的问题,请参考以下文章

Flume NG 学习笔记Sinks和Channel配置

学员在学习Flume过程中碰到的问题,你遇见过么?

Flume 学习笔记之 Flume NG+Kafka整合

Flume NG 学习笔记 TransactionSinkSource和Channel开发

使用flume将kafka数据sink到HBase

flume1.8 使用指南学习感悟