如何在bigquery中按月创建分区

Posted

技术标签:

【中文标题】如何在bigquery中按月创建分区【英文标题】:how to create partition on monthly basis in bigquery 【发布时间】:2017-08-10 13:13:37 【问题描述】:

我正在尝试使用数据流将数据上传到 bigquery 分区表中。我已成功按日期上传数据并使用 bigquery 每月获取此数据,但我的 moto 是每月/每年上传数据。有没有办法使用数据流来做到这一点。

【问题讨论】:

【参考方案1】:

您可以使用每个月的开始日期来进行“每月”分区。例如,对于 8 月,您会将所有内容存储在 yourtable$20170801 分区中。您需要一些应用程序端逻辑来确定您使用 Dataflow 写入的表的适当 $YYYYmmdd 后缀。

【讨论】:

以上是关于如何在bigquery中按月创建分区的主要内容,如果未能解决你的问题,请参考以下文章

如何在 BigQuery 中按外键分组?

在 bigquery 中按月显示数据

如何在 presto SQL 中按月分组

如何在 Pandas 中按月计算分类列?

如何在 Jooq 中按月和年将毫秒翻译成日期和分组?

如何使用SQLServer数据库按月创建表分区