Google 大查询 API 返回“为此项目扫描的免费查询字节过多”

Posted 2023-03-24

【中文标题】Google 大查询 API 返回“为此项目扫描的免费查询字节过多”

【英文标题】：Google big query API returns "too many free query bytes scanned for this project"

【发布时间】：2014-02-23 23:23:46

【问题描述】：

我正在使用 Google 的大查询 API 从他们的 n-gram 数据集中检索结果。因此，我发送了多个“SELECT ngram from trigram_dataset where ngram == 'natural language processing'”的查询。

我基本上使用此处发布的相同代码 (https://developers.google.com/bigquery/bigquery-api-quickstart) 替换为我的查询语句。

在每个程序运行时，我都必须获取一个新的授权代码并在控制台中键入它，这将授权我的程序在我的项目 ID 下向谷歌大查询发送查询。但是，发送 5 次查询后，它只是返回“”消息“：”超出配额：为该项目扫描的空闲查询字节太多”。

根据 Google Big Query 政策，他们的免费配额是 100G/月，我认为我什至还没有接近他们的配额。有人在上一个帖子中建议我应该启用计费信息以使用他们的免费配额，我这样做了，但它仍然给我同样的错误。有没有办法检查剩余配额或如何解决这个问题？非常感谢你！

【参考方案1】：

您提到的查询扫描了 1.12 GB 的数据，因此您应该能够在一个月内运行 89 次。

配额的运作方式是您从每月 100 GB 的配额开始 - 如果您用完它，您不必等待一整个月，但您每天可以获得 3.3 GB 的配额。

我的猜测（请确认）是您运行了一堆查询并用完了每月 100 GB 的免费配额，然后等了一天，在达到配额上限之前只能运行几个查询。如果不是这种情况，请告诉我，并提供您的项目 ID，我可以查看日志。

另外，请注意，这不是 bigquery 最有效的用法；一个选项是将多个请求批处理在一起。在这种情况下，您可以执行以下操作：

SELECT ngram 
FROM trigram_dataset 
WHERE ngram IN (
  'natural language processing',
  'some other trigram',
  'three more words')