Bigquery 返回内部错误 503：23 列 X 600,00 行

Posted 2023-03-24

【中文标题】Bigquery 返回内部错误 503：23 列 X 600,00 行

【英文标题】：Bigquery returns Internal error 503: 23 cols X 600,00 rows

【发布时间】：2012-09-10 00:47:43

【问题描述】：

我正在查询大量数据，并在返回数据时不断收到此错误。这开始于今天下午。查询字符串可以在 bigquery 浏览器工具中找到。只有我在一台机器上同步查询。怀疑我是否达到了 20,000 个查询限制。

这是一个已知的错误吗？

查询数据时发生内部错误。 runSyncQuery 中的错误：'\n "error": \n "errors": [\n \n "domain": "global",\n "reason": "backendError",\n "message": "后端错误"\n \n ],\n "code": 503,\n "message": "Backend Error"\n \n\n'

设置： 中型实例 EC2

查询 19 -23 列，每列大约 600000 行。总计 564 mb 查询的最大长度设置为 50,000（也是 100,000 和 500,000） 查询返回速度极慢 分页结果的值 当前长度：8825 1 当前行：17650 2 当前行：26475 3 当前行：35300 4 当前行：44125 5 当前行：52950 6 runSyncQuery 中的错误：'\n "error": \n "errors": [\n \n "domain": "global",\n "reason": "backendError",\n "message": "后端错误"\n \n ],\n "代码": 503,\n "消息": "后端错误"\n \n\n'

添加额外的请求信息： job_183c2c3919dd4d8fac9f2947201978ef 459512762119 当前长度：8825 1 当前行：17650 2 当前行：26475 3 runSyncQuery 中的错误：'\n "error": \n "errors": [\n \n "domain": "global", \n "reason": "backendError",\n "message": "后端错误"\n \n ],\n "code": 503,\n "message": "后端错误"\n \n \n'

【问题讨论】：

您好，今天早上又发生了这种情况...有什么办法可以查看一下：job id：job_23c773fd534a46db8ab727bcbc9cf0b4 projectid：459512762119 当前长度：38270 1 当前行：76301 2 当前行：114903 3

【参考方案1】：

只是为了确保我理解：您正在运行查询，然后对结果进行分页，而第 6 页给您一个后端错误？

后端错误几乎总是表明 bigquery 中存在内部错误——您能否告诉我您正在使用的项目 ID 以及查询作业 ID（如果有）？

【讨论】：

在第 1 点您有一个查询。这将创建一个查询作业并在响应中返回查询作业 ID。如果您有此 ID 或只是一个项目 ID，我可以查找后端错误以了解更多信息。

job_183c2c3919dd4d8fac9f2947201978ef 459512762119 当前长度：8825 1 当前行：17650 2 当前行：26475 3 runSyncQuery 中的错误：'\n "error": \n "errors": [\n \n "domain": "global",\n "reason": "backendError",\n "message": "后端错误"\n \n ],\n "code": 503,\n "message": "后端错误"\n \n\n' 无