Storm Trident 状态实现 Txid 比较

Posted

技术标签:

【中文标题】Storm Trident 状态实现 Txid 比较【英文标题】:Storm Trident State Implementation Txid Comparison 【发布时间】:2016-01-23 16:38:35 【问题描述】:

我正在构建一个风暴三叉戟拓扑,并且在某些时候我正在使用 partitionPersist 阶段将数据存储到 solr。我已经实现了 State 类并编写了一些逻辑来使用 StateUpdater 更新 solr。我是否在任何阶段都必须跟踪事务 id (txid) 以确保我不会将重复项存储到 solr 中,或者 trident 会为我处理这个问题?

【问题讨论】:

【参考方案1】:

是的,您必须自己跟踪 txid。

【讨论】:

以上是关于Storm Trident 状态实现 Txid 比较的主要内容,如果未能解决你的问题,请参考以下文章

storm trident 消息成功处理

Storm Trident状态

storm的trident编程模型

Apache Storm 官方文档 —— Trident State

Storm,Trident,Spark Streaming,Samza和Flink主流流处理框架比较 | 下

Trident中的DRPC实现