如何根据某些过滤条件从 bigquery 导出数据

Posted

技术标签:

【中文标题】如何根据某些过滤条件从 bigquery 导出数据【英文标题】:How to export data from bigquery based on some filter criteria 【发布时间】:2016-10-31 09:32:58 【问题描述】:

我想知道如何从包含大量数据(分区)的 bigquery 表中导出数据,我想只下载一天的数据,但我不确定是否有任何可用的机制来执行此操作.该文档讨论了导出所有数据,但不基于某些过滤条件。

是否可以使用 where 子句运行查询并将数据保存到另一个表中并运行导出?

【问题讨论】:

【参考方案1】:

是的,正如你所说。

    运行查询,并设置目标表。 查询完成后,数据将在您的表中。 从新表发出导出作业。 您现在可以删除自己的表。

关于exporting data 和关于storing query results in a table 提到了一些Java 示例here。

【讨论】:

谢谢 - 它工作,我只是网页 UI 下载。我必须在 UI 中检查 Allow large results 选项并取消选中 Flatten results 选项,因为我在根目录中有多个嵌套对象。

以上是关于如何根据某些过滤条件从 bigquery 导出数据的主要内容,如果未能解决你的问题,请参考以下文章

如何根据条件过滤后的熊猫数据框来导出列

如何通过 Firebase 中的某些用户事件过滤 BigQuery 中的保留计算

Bigquery - 如何过滤具有特定条件的记录

BigQuery LEFT JOIN 一个表并根据条件过滤其数组元素

如何从已分区的 BigQuery 表中提取单个分区?

使用 Bigquery 进行网络分析,如何过滤掉恶意的不良数据,如机器人等