Google BigQuery Payload 大小限制为 10485760 字节

Posted 2023-03-24

【中文标题】Google BigQuery Payload 大小限制为 10485760 字节

【英文标题】：Google BigQuery Payload size limit of 10485760 bytes

【发布时间】：2020-01-22 09:41:57

【问题描述】：

我们在尝试将数据流式传输到 bigquery 表时遇到错误，它说：有效负载大小限制为 10485760 字节，有人知道吗？根据我们用来将数据从 sql server 移动到 bigquery 表的第三方集成供应商，他们建议这是 bigquery 的问题？

谢谢。 最好的问候，

【问题讨论】：

发送小于 10 兆字节的负载？

你能发布整个错误吗？

【参考方案1】：

BigQuery 有一些最大限制，也有一些配额政策，如您所见here。

流媒体的限制是：

如果插入行时不填充 insertId 字段：

每秒最大行数：1,000,000 每秒最大字节数：1 GB

如果在插入行时填充 insertId 字段：

每秒最大行数：100,000 每秒最大字节数：100 MB

无论您是否填充 insertId 字段，都适用以下额外的流式传输配额：

最大行大小：1 MB HTTP 请求大小限制：10 MB 每个请求的最大行数：每个请求 10,000 行 insertId 字段长度：128

希望对你有帮助

【参考方案2】：

实际上，每个请求的流式传输限制为 10MB。

根据https://cloud.google.com/bigquery/quotas，行大小为1MB

您需要做的是并行化流式作业。 BigQuery 最高支持每秒 1M/行。

【讨论】：

希望 google bigquery 可以增加每个请求的大小限制？当行大小很大时，即使是并行也无济于事，因为我们试图减少所有并行作业的每个请求的行数，而且速度非常慢。因为当一个表有很多行大小很大的行时，它必须向 bigquery 发出很多请求，这不是很可行的选择。谢谢。

@JJZ 与您的 Google 联系人联系，询问您如何请求限制更新。