Google Cloud Pub/Sub 中的积压工作

Posted 2023-02-25

【中文标题】Google Cloud Pub/Sub 中的积压工作

【英文标题】：Backlog in Google Cloud Pub/Sub

【发布时间】：2021-08-16 13:02:11

【问题描述】：

我是 GCP 的新手，在阅读有关通过 Dataflow 服务进行自动调整的文档时，他们正在谈论依赖于它的积压和自动缩放。在这种特殊情况下，什么是积压？ 如果我的管道正在从 pub/sub 读取，它是最旧消息的年龄还是未确认消息的数量？

【参考方案1】：

Dataflow 中的积压与 PubSub 无关。数据流在此处时始终会从 PubSub 获得消息。但处理队列可以在 Dataflow 内部增加：即积压。如果它太大，并且 CPU 消耗太高，则将新的工作线程添加到管道中。

在流式传输模式下，您仍然有积压，但您也有预测积压。实际上，它会比较每个时间窗口中的消息数量，以及消息数量是否增加可能是峰值的开始，并且数据流可以主动扩展。

【讨论】：

@guillaume_blaquiere 感谢您的解释。我明白你说的，除了第二句话。 “数据流在此处时总是从 PubSub 收到消息”是什么意思？

对不起 ;) 数据流创建到 PubSub 的拉连接并立即获取消息。您还没有积压 PubSub 订阅，订阅通常是空的