在列出的日期范围之外流式传输到分区表 BigQuery

Posted 2023-03-24

【中文标题】在列出的日期范围之外流式传输到分区表 BigQuery

【英文标题】：Streaming to Partitioned Tables BigQuery outside of listed date bounds

【发布时间】：2017-04-24 04:33:58

【问题描述】：

我在 BigQuery documentation 中注意到它说您可以

在过去 30 天内和 5 天内流式传输到分区 相对于当前日期的未来天数，基于当前 UTC 时间。

但是，我发现它实际上可以让您流式传输到更远的位置 - 我们在 6 个月前成功地将其流式传输到一个分区。

尝试流式传输到一年前的某个日期却会出现以下错误消息：

插入操作中的 BigQuery 错误：目标表的分区 tmp$20160101 超出了允许的范围。您只能流式传输到 过去 366 天内和未来 31 天内的分区 相对于当前日期。

错误消息清楚地将边界指定为 36631。这仅仅是 BigQuery 文档中的一个错误吗？

Google cloud link

【参考方案1】：

最新更新：现在严格执行

【参考方案2】：

这不是一个错误，而是一个减少用户影响的转变期。允许的日期范围会随着时间的推移而缩短，但是文件所说的内容肯定会得到尊重。

【参考方案3】：

几点：

您正在选择ingestion-time partitioned 方法，请尝试改用列分区 (https://cloud.google.com/bigquery/docs/creating-column-partitions)

还要确保将有效日期传递给 bigQuery。我刚刚在日期格式无效时遇到了这个问题。