将 BigQuery 查询结果直接写入 GCS - 可以吗？

Posted 2023-03-24

【中文标题】将 BigQuery 查询结果直接写入 GCS - 可以吗？

【英文标题】：Write BigQuery query result directly to GCS - is it possible?

【发布时间】：2016-08-10 08:28:37

【问题描述】：

我尝试了bq命令行工具，但似乎没有办法将结果直接写入GCS。我能看到的唯一方法是：

查询->表->导出 查询->控制台->本地CSV文件->上传到GCS

我正在寻找一种将结果直接写入 GCS 的方法。

【参考方案1】：

您不能将查询结果直接写入 GCS。正如您已经指出的，最简单的方法是：

将查询结果写入输出表 将表导出到 GCS

您可以在 Web UI 中轻松完成此操作。

您还可以编写一个 Dataflow 管道，使用 BigQuery.IO.Read.fromQuery(<your_query>) 从 BigQuery 读取数据，并将结果直接写入 GCS。