BigQuery 负载作业限制为 15 TB

Posted 2023-03-24

【中文标题】BigQuery 负载作业限制为 15 TB

【英文标题】：BigQuery Load Job Limitation of 15 TB

【发布时间】：2019-08-19 22:05:48

【问题描述】：

将大型数据集加载到 BigQuery 时。表大小超过 170TB。在 BigQuery 中，我们听说每个加载作业的加载限制不超过 15 TB，无论文件 zip 是 Avro 、 parquet 等。如果是，那么您能否分享任何解决方法或选项来加载如此大的容量数据？

【参考方案1】：

查看配额页面以查找记录的限制：

https://cloud.google.com/bigquery/quotas

确实存在“每个加载作业的最大大小 - CSV、JSON、Avro、Parquet 和 ORC 的所有输入文件为 15 TB”。

但您应该能够跨多个加载作业轻松加载 170TB。或者您是在告诉我们您只有一个 170TB 的文件？

如果您可以将多个文件中的多个加载作业用于单个表，则限制为“每个表每天加载作业 - 1,000 个”。那 s 比问题所要求的大小高 2 个数量级。