storm trident State

Posted brainstorm

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了storm trident State相关的知识,希望对你有一定的参考价值。

State 是用来 管理 从数据存储中 查询数据(使用batch中的tuple作为输入来查询) 插入和更新数据(把batch中的tuple更新或者插入到数据存储)
里面涉及到事务管理

对于,数据存储是kv结构的, 会有专门的MapStates接口
我们要自己定义支持kv的state,只需要实现 IBackingMap接口

如果要自己实现 State
首先Sate实现类里面需要有查询和更新函数
然后需要继承BaseQueryFunction和BaseStateUpdater 模板类,
来专门实现如何根据输入tuple,调用State内部的查询和更新函数,实现数据的查询和更新

需要注意的是,trident是一个batch一个batch地对数据存储进行操作的,可以减少网络交互

以上是关于storm trident State的主要内容,如果未能解决你的问题,请参考以下文章

storm trident merger

storm trident 的介绍与使用

Storm Trident状态

Storm Trident API总结-2

Storm-HBase Trident - 同时查询多个列

Storm Trident API总结-1