Flume 事务
Posted 刘元涛
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flume 事务相关的知识,希望对你有一定的参考价值。
Put事务流程
- doPut:将批数据先写入临时缓冲区putList。
- doCommit:检查channel内存队列是否足够合并。
- doRollback:channel内存队列空间不足,回滚数据。
Take事务
- doTake:将数据取到临时缓冲区takeList,并将数据发送到HDFS
- doCommit:如果数据全部发送成功,则清除临时缓冲区takeList
- doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列。
以上是关于Flume 事务的主要内容,如果未能解决你的问题,请参考以下文章