BigQuery：对列分区表的分区修改数超过配额

Posted 2021-04-16

尝试在BigQuery上运行大量日常分区时使用自定义Timestamp列的大量导入CSV作业时出现此错误。

您的表超出了对列分区表的分区修改数量的配额

完整错误如下：

{Location: "partition_modifications_per_column_partitioned_table.long"; Message: "Quota exceeded: Your table exceeded quota for Number of partition modifications to a column partitioned table. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors"; Reason: "quotaExceeded"}

我不清楚：Number of partition modifications的配额是多少？它是如何被超越的？

谢谢！

答案

分区修改数量的配额是多少？

见Quotas for Partitioned tables 特别是：

单个作业修改的最大分区数 - 2,000

每个作业操作（查询或加载）最多可影响2,000个分区。 Google BigQuery会拒绝任何影响超过2,000个分区的查询或加载作业。

每个表每天最大分区修改数 - 5,000

对于分区表，每天总共限制5,000次分区修改。可以使用附加或覆盖分区中的数据的操作来修改分区。修改分区的操作包括：加载作业，将结果写入分区的查询，或修改分区中数据的DML语句（INSERT，DELETE，UPDATE或MERGE）。

您可以在上面的链接中看到更多细节

另一答案

如果您经常更改数据，我强烈建议您删除该表，然后使用新值再次上传。每次上传新表时，都会刷新限制。