Flume 事务

Posted 刘元涛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flume 事务相关的知识,希望对你有一定的参考价值。

Put事务流程

  • doPut:将批数据先写入临时缓冲区putList。
  • doCommit:检查channel内存队列是否足够合并。
  • doRollback:channel内存队列空间不足,回滚数据。

Take事务

  • doTake:将数据取到临时缓冲区takeList,并将数据发送到HDFS
  • doCommit:如果数据全部发送成功,则清除临时缓冲区takeList
  • doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列。

以上是关于Flume 事务的主要内容,如果未能解决你的问题,请参考以下文章

Flume-自定义 Sink

Flume

Flume之 各种 Channel 的介绍及参数解析

Flume传输数据事务分析

flume到底会丢数据吗?其可靠性如何?——轻松搞懂Flume事务机制

大数据面试题之葵花宝典------flume