Bigquery 使用数据流发布订阅消息推送

Posted 2023-02-16

【中文标题】Bigquery 使用数据流发布订阅消息推送

【英文标题】：Bigquery to pubsub message push using dataflow

【发布时间】：2021-11-30 04:17:20

【问题描述】：

我们需要使用数据流将数据从 Bigquery 推送到 pubsub 作为事件。我们是否有任何可用的模板（据我了解，可以使用 DF 模板从 pubsub 到 BQ）。如果我们使用数据流流机制设置为 true - 我们是否需要任何调度程序来调用数据流来获取数据并将数据推送到 pubsub？请指导我。

【问题讨论】：

您希望在每次查询时在 PubSub 中注入多少数据？

每个查询大约 10KB

【参考方案1】：

没有将 BigQuery 行推送到 PubSub 的模板。此外，流模式仅在 PubSub 是源而不是接收器时才有效。当它是数据库或文件时，它始终处于批处理模式。

---

对于您的用例，我建议您使用简单的 Cloud Functions 或 Cloud Run 并使用 Cloud Scheduler 触发它。数据量低，无服务器产品非常适合您的用例。不需要像 Dataflow 这样的大型可扩展产品