storm trident 消息成功处理

Posted 2020-11-08 brainstorm

trident里面
batch会被缓存，这样失败了可以重新发送
多个batch可以并行被process，但是commit是严格按照txid顺序来执行
一个batch的状态会存在zk里
只要batch在timeout时间内commit就算完成了，应该同时会清缓存
如果异常或超时了，就会replay

在原声的storm中一个tuple和它衍生的tuple有没有被成功处理，是通过一个异或机制来监控的，如果被成功处理，最后肯定会是0

batch也是类似的监控机制

一个batch也会衍生出一些tuple，也会通过groupby，来拆分进行process

一个tuple完成时说，它和它的衍生tuple，都ack成功了，
一个batch完成时说，batch里的所有tuple都成功了，这些tuple本身都是带txid标志的

一个batch中的多个tuple可能会被shuffle到多个partition，分别处理，这个是没关系的

一个window内可能包含多个batch，他们会被一起处理