流式数据处理过程中如何快速识别是不是有阻塞？

Posted 2023-02-16

【中文标题】流式数据处理过程中如何快速识别是不是有阻塞？

【英文标题】：How to quickly identify whether there is any blockage during streaming data processing?流式数据处理过程中如何快速识别是否有阻塞？

【发布时间】：2021-10-13 14:53:15

【问题描述】：

在集群中，我创建了多个流表以及使用不同主题的多个订阅。但是几个订阅的处理显然被延迟了。如何快速识别流数据处理过程中是否有阻塞？

【参考方案1】：

DolphinDB提供监控功能getStreamingStat()，可通过以下功能进行更详细的查询：

getStreamingStat().subWorkers  //query the subscription status

如果queueDepth中没有积累，说明流数据的消费没有被阻塞。

getStreamingStat().pubConns //the publish connection status

如果queueDepth中没有积累，说明流数据的分发没有被阻塞。