BigQuery 中的服务限制

Posted

技术标签:

【中文标题】BigQuery 中的服务限制【英文标题】:Service throttling in BigQuery 【发布时间】:2017-11-09 12:23:24 【问题描述】:

如何判断 Google BigQuery 中是否发生限制?

我有几个 BigQuery 作业来提升 Google Analytics(分析)数据,这些作业通常在 10 到 15 秒内完成。不同的作业间歇性地开始减速到 2-3 分钟,然后在随后的运行中恢复到正常速度。

作业已成功完成。我看不到减速的任何模式——它不是同一个工作,也不是同时,而且流量也没有激增。

会不会是基于 Google BigQuery 项目的服务节流?有什么方法可以在 Cloud Console 中监控这一点吗?

除了服务限制之外,我还应该考虑其他什么吗?

【问题讨论】:

【参考方案1】:

您没有受到限制。相反,您使用的是多租户系统,因此您需要与邻居共享所有资源。当集群有更多需求时,最有可能发生这些较慢的作业。也可能只是因为要加载更多数据。

在后台,加载作业只是普通的联合查询,除非您不为它们付费。就像查询一样,它们也受到任何给定时间对资源/集群的需求的限制。

【讨论】:

以上是关于BigQuery 中的服务限制的主要内容,如果未能解决你的问题,请参考以下文章

如何限制 Google Bigquery 中的作业数量 [关闭]

BigQuery 有区域限制或其他区域之间的延迟?

通过 VPC/*** 的 Google 托管服务(BigQuery、云存储等)

新 Google 电子表格的 BigQuery 访问权限

BigQuery 行限制

服务帐号和项目之间的 BigQuery 关系