如何在 BQ 中查看当前已达到的已用配额?
Posted
技术标签:
【中文标题】如何在 BQ 中查看当前已达到的已用配额?【英文标题】:How can I see the currently reached used quota in BQ? 【发布时间】:2013-12-11 07:17:38 【问题描述】:Google 的 BQ 配额政策表明每个项目的负载限制为 10,000 个。
在 Google API 网站下,我可以看到我的项目的配额,但“已使用”列始终为 0%。 (尽管我知道我已经达到了最大值)
如何查看我最近一天执行的加载请求量? 另外,这个配额具体在几点重置?
谢谢。
【问题讨论】:
【参考方案1】:没有办法知道您在每天的配额中使用了多少负载(除了列出您在最后一天的工作并计算负载的数量)。我们正在考虑向 Google Cloud Console 页面中的配额页面添加更多数据,我们将在列表中添加负载限制。
BigQuery 中有几种不同类型的配额限制。有些是硬限制,旨在防止用户过多地使用我们的有限容量。并发“大型”查询的限制就是其中之一,因为大型查询使用大量资源,我们不希望一个客户能够对其他用户的性能产生不利影响。随着容量的增加,硬配额往往会随着时间的推移而增加。
还有其他“软”配额,用于鼓励高效使用 BigQuery。负载限制是这些“软”配额之一,旨在防止用户进行大量微小更新或写入大量微小表。
如果您要进行大量小更新,最好使用流式插入机制 (tabledata.insertAll()),该机制允许您将行发布到 BigQuery,这些行会立即添加到您的表中。如果您有许多附加到同一个表的小型加载作业,这意味着在 BigQuery 的定期合并操作在您的表上运行之前不会优化该表。另一方面,使用 tabledata.insertAll() 写入的表以更有效的方式写入,并且不需要合并。
如果您要写入许多小表,这可能表明您计划查询大量表。一个查询中有很多小表意味着 BigQuery 必须为每个查询做更多的工作,并且在存储数据方面的灵活性较低。
还有很多其他原因,您希望每个项目每天的负载超过 10k。如果您这样做,我们希望更好地了解您的用例。如果您与 Google 云支持 (https://cloud.google.com/support/) 达成了支持安排,您的支持联系人可以与您一起确定您的需求以及增加配额是否有意义。
【讨论】:
您发布答案已经 5 年了,我很高兴知道它今天是否仍然正确?主要是关于快速大量小更新不好?以上是关于如何在 BQ 中查看当前已达到的已用配额?的主要内容,如果未能解决你的问题,请参考以下文章