为 BigQuery 自动检测 GCS 中的更改

Posted 2023-03-24

【中文标题】为 BigQuery 自动检测 GCS 中的更改

【英文标题】：Automatically detect changes in GCS for BigQuery

【发布时间】：2019-07-08 04:56:38

【问题描述】：

现在我有一个 BigQuery 表，其数据源来自 GCS（谷歌云存储）的某个存储桶。

随着新文件的添加，GCS 是动态的。那么，我们是否有任何可用的机制让 BigQuery 自动检测 GCS 中的变化并与最新数据同步？

谢谢！

【问题讨论】：

你在找Cloud Functions，专门找Background Functions

【参考方案1】：

您可以使用一个非常酷的测试版功能来做到这一点。查看BigQuery Cloud Storage Transfer。您可以安排传输运行回填等等。

阅读“限制”，看看它是否适合你。