flume学习---channel

Posted 赵庆-BUPT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了flume学习---channel相关的知识,希望对你有一定的参考价值。

  定义:Channels are the repositories where the events are staged on a agent. Source adds the events and Sink removes it.

  本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的,主要内容是总结了flume1.8.0支持的各种schannel,见下表。

channel类型 type 存储介质 说明    
Memory Channel memory  内存 events被存储在内存中    
JDBC Channel jdbc  数据库 events被持久化至数据库    
Kafka Channel org.apache.flume.channel.kafka.KafkaChannel  Kafka cluster  The events are stored in a Kafka cluster     
File Channel file  本地磁盘某个文件  如果没有配置文件路径,则采用默认路径。但是如果有两个或两个以上File channel,则需要你至少指定一个文件路径,否则会发生冲突。    
Spillable Memory Channel(实验性) SPILLABLEMEMORY an in-memory queue and on disk 优先存储数据至内存,当内存溢出后存储在磁盘    
Pseudo Transaction Channel org.apache.flume.channel.PseudoTxnMemoryChannel   只能用于单元测试    
Custom Channel 自定义FQCN        

以上是关于flume学习---channel的主要内容,如果未能解决你的问题,请参考以下文章

Flume,Sqoop学习以及应用

flume学习一:flume基础知识

Flume学习之路 Flume的基础介绍

Flume学习笔记

Flume学习之路 Flume的Source类型

Flume 使用学习小结