Bigquery - 选择数据集中的所有表和分区

Posted

技术标签:

【中文标题】Bigquery - 选择数据集中的所有表和分区【英文标题】:Bigquery - Select all table and partition in dataset 【发布时间】:2021-05-21 02:47:56 【问题描述】:

我想选择数据集中的所有数据。我知道我可以使用通配符。但问题是数据集中有一个分区表

示例数据:

data_2021_05_04 <- partition table
data_2021_05_05 <- partition table
data_2021_05_06 <- normal table
data_2021_05_07 <- normal table

如果我使用 select * from dataset.data_* 它会返回

尚不支持非分区表和基于字段的分区表上的通配符表

通配符匹配不兼容的分区表,第一个table1,第一个不兼容的表table2

有什么办法可以解决吗?

谢谢

【问题讨论】:

bigquery 现在支持 ALTER TABLE 重命名,您可以考虑重命名冲突的表,或者将它们合并到分区结构下? cloud.google.com/bigquery/docs/reference/standard-sql/… 【参考方案1】:

这对我来说很好用:

SELECT * FROM ProjectID.DatasetID.TableID_* LIMIT 1000

【讨论】:

以上是关于Bigquery - 选择数据集中的所有表和分区的主要内容,如果未能解决你的问题,请参考以下文章

Bigquery 分片与 Bigquery 分区

bigquery 表可以创建的最大分区数

BigQuery 中 Hive 的显示分区的替代方案

Bigquery如何在List操作期间过滤表和视图

如何使用 dplyr 和 bigquery 从 Bigquery 数据集中的多个表中进行选择?

BigQuery - 联合数据集中的所有表