使用谷歌云数据流执行谷歌 Bigquery 查询

Posted 2023-03-25

【中文标题】使用谷歌云数据流执行谷歌 Bigquery 查询

【英文标题】：Google Bigquery query execution using google cloud dataflow

【发布时间】：2015-04-29 11:12:32

【问题描述】：

是否可以直接使用谷歌云数据流执行Bigquery的查询并获取数据，而不是从表中读取数据然后放置条件？

例如，PCollections res=p.apply(BigqueryIO.execute("Select col1,col2 from publicdata:samples.shakeseare where ...."))

我们可以直接使用 Bigquery 查询已经实现的方法，而不是使用迭代方法重新发明。

感谢和问候

阿杰·K·N

【参考方案1】：

BigQueryIO 目前仅支持从表中读取，而不支持从查询或视图中读取 (FAQ)。

解决此问题的一种方法是在您的主程序中通过在运行 Dataflow 作业之前发出查询来创建 BigQuery permanent table。之后，您的作业运行后，您可以删除该表。