我们可以增加 Bigquery 中的更新配额吗？

Posted 2023-03-25

【中文标题】我们可以增加 Bigquery 中的更新配额吗？

【英文标题】：Can we increase update quota in Bigquery?

【发布时间】：2017-07-19 06:59:21

【问题描述】：

我需要增加 bigquery 的更新配额。由于我每天将更新大约 100 万行更新，我该怎么做。

我在 Bigquery 中有一个表，每天需要大约 1M 更新。

Bigquery 表中的当前记录数 = 62000000

以下是我遇到的错误：

  
 "error": 
  "errors": [
   
    "domain": "global",
    "reason": "quotaExceeded",
    "message": "Quota exceeded:  (truncated...)
  

【问题讨论】：

你真的需要UPDATE那么多次吗？连续追加数据会更容易、更便宜，然后您可以为您关心的属性选择最新的行。您也可以使用“最新”逻辑创建逻辑视图。

但我们需要更新数据，因为我们正在进行用户分析

您的费率很低。对 SO 很重要，您必须使用已发布答案左侧、投票下方的勾号来标记已接受的答案。这将提高您的费率。通过访问此链接了解其工作原理：meta.***.com/questions/5234/…

【参考方案1】：

BigQuery 的主要设计是适用于带有一些有限 DML 语句的仅附加技术。

这不是一个真实的数据库，如果用户编辑他们的个人资料，您可以在其中不断更新您的用户记录。相反，您需要构建您的代码，以便每次编辑都是 Bigquery 中的新行，并且您始终查询最新行。

DML 语句限制很低，因为它针对不同的场景而不是您的场景，也就是行的实时更新。您可以将数据提取到单独的表中，并每天发布 1 条更新语句。

【参考方案2】：

BigQuery 移除了 DML 配额限制，所以这里之后你就不会收到上述错误了。

https://cloud.google.com/blog/products/data-analytics/dml-without-limits-now-in-bigquery