我们可以请求从 Google Cloud Storage 到 BigQuery 的多少并发上传？

Posted 2023-03-24

【中文标题】我们可以请求从 Google Cloud Storage 到 BigQuery 的多少并发上传？

【英文标题】：How many concurrent uploads from Google Cloud Storage to BigQuery we can request?

【发布时间】：2012-06-12 05:10:35

【问题描述】：

在doc 上，它声明您可以在单独的请求中将多个文件从存储上传到一个表：

创建一个 CSV 文件来填充您的表格 - 用于填充您的表格的数据 表作为 CSV 文件上传。单个源文件的最大大小 是 4GB，但您可以将多个源文件导入到一个表中，无论是在 单个请求或单独的请求。

这些请求可以同时发出吗？如果是，每个账户/桶/表的最大并发上传请求数是多少？如果这些数字没有明确的配额，是否意味着您可以通过发出上传请求来尽可能多地增加上传吞吐量？

谢谢，

卡兹

【参考方案1】：

BigQuery 配额在此处列出：https://developers.google.com/bigquery/docs/quota-policy

总的来说，每个导入请求最多可以包含 500 个文件（每个文件必须小于 4Gb）。您每分钟可以发出两个导入请求，每天最多 1,000 个导入请求

【讨论】：

谢谢，迈克尔！顺便说一句，你能告诉我你在导入时见过的最大上传吞吐量是多少吗？我只是想知道粗略估计的粗略数字。

遗憾的是，我们没有关于摄取时间的 SLA，而且目前无法预测导入速度与数据大小的关系。但是，我已经能够在大约半小时内（在批量摄取作业中完成）摄取数百 GB 的 CSV 数据（先压缩然后暂存到 Cloud Storage 中）。

这是非常有价值的信息！非常感谢！！

【参考方案2】：

2013 年更新：

总的来说，每个导入请求最多可以有 10,000 个文件（每个文件必须小于 1Tb，字符串中不能有新行）。

https://developers.google.com/bigquery/docs/quota-policy#import