永远运行的 Google BigQuery

Posted 2023-03-25

【中文标题】永远运行的 Google BigQuery

【英文标题】：Google BigQuery running forever

【发布时间】：2015-08-10 10:54:24

【问题描述】：

我每天都在运行 BigQuery 查询，它运行良好，但今天（2015 年 8 月 10 日）它需要很长时间（5,000 秒+）并且没有返回结果或错误，继续运行..

今天的 Google BigQuery 是否存在问题，或者这是 BigQuery 的错误？

查询作业i​​d：job_ijIQidyFErmMaxO5AGuJuHWMAgA

它从今天格林威治标准时间 10:30 开始运行，并且仍在运行

查询如下：

SELECT a1, a2, b2, b1, a3, a4, INTEGER(b3), b4
FROM (SELECT a1, a2, MAX(a3) a3, MAX(a4) a4
      FROM TABLE_DATE_RANGE(t.a_, DATE_ADD(CURRENT_TIMESTAMP(), -30, 'DAY'),
                                           CURRENT_TIMESTAMP())
      WHERE a4 > 0
      GROUP BY a1, a2) a
JOIN EACH (SELECT b1, b2, MAX(b3) b3, MAX(b4) b4
           FROM TABLE_DATE_RANGE(t.b_, DATE_ADD(CURRENT_TIMESTAMP(), -30, 'DAY'),
                                                CURRENT_TIMESTAMP())
           WHERE INTEGER(b3) IN (0,2)
           GROUP BY b1, b2) b
ON a.a1 = b.b1 AND a.a2 = b.b2

这个查询每天都在运行，并且一直运行良好，直到今天它没有返回数据或错误。

我尝试运行查询成功的日期 (2015-07-10)，但我遇到了同样的问题，继续运行。

【问题讨论】：

我今天遇到了类似的问题。查询是昨天运行没有问题但今天没有完成的 CRON 作业的一部分（几个小时后仍然运行）。但是，与此扩展运行查询一起运行的其他一些查询确实会在通常的时间（30 秒）内完成。

仅供参考，我的矿最终在约 5 小时后完成。

【参考方案1】：

我们对查询引擎进行了一些更新，旨在解决间歇性缓慢查询。如果您再次看到此行为，请向我们发送另一个工作 ID！

对于可疑的错误，我们建议在此处提交错误： http://code.google.com/p/google-bigquery/issues

【讨论】：

查询仍然永远运行...job_cW8INWaqUbnF0dA24-sRWR_s88w

此查询（或类似查询）以前是否完成得更快？如果是这样，您是什么时候注意到变化的？请在上面的链接中提交错误，以便我们跟踪问题。

我尝试将其分解为多个部分，发现其中一个子查询中存在“资源超出...”。我猜主查询中有一个超时与此有关。

子查询中的“资源超出”如果被击中，将在父查询中触发立即失败。更有可能的是，您在父查询中还有其他一些耗费大量时间的昂贵操作。显然，可以使用 BigQuery 编写资源密集型查询，因此最重要的是要知道为什么您觉得此查询耗时过长（例如，之前运行速度很快）以及您何时注意到变化。

当我限制子查询中的记录数时，它会在合理的时间内返回。当我删除限制时，它超时了。当我把它分解成碎片时，子查询返回“资源超出”

【参考方案2】：

尝试将结果保存到目标表，并在显示选项 -> 结果大小下标记“允许大结果”选项。 对我来说，这通常可以解决此类问题。