BigQuery 中的分析函数问题

Posted

技术标签:

【中文标题】BigQuery 中的分析函数问题【英文标题】:Issues with Analytic function in BigQuery 【发布时间】:2020-06-12 07:39:25 【问题描述】:

自 6 月 2 日以来,我们遇到了分析函数问题。当查询(不是分区)通过一定大小时,查询失败并出现以下错误:

查询执行期间资源超出:查询无法 在分配的内存中执行。峰值使用量:限制的 125%。***内存 消费者:分析 OVER() 子句:97% 其他/未归因:3%。在 [....]

有人遇到过同样的问题吗?

【问题讨论】:

您好,如果您觉得我的回答有用,请点赞/采纳,谢谢! 【参考方案1】:

BigQuery 根据正在运行的表的大小为 OVER() 子句选择多个并行工作程序。当 BigQuery 分配给您的查询的工作人员正在处理过多数据时,我们可以看到资源超出错误。

我认为这个问题可能来自OVER() 子句和使用的数据量。您需要尝试对查询脚本进行一些调整(特别是在 OVER() 子句上),正如错误消息中所述。

要了解有关该错误的更多信息,请查看official documentation。

Slots - 执行 SQL 查询所需的计算能力单位:

当您注册统一费率定价计划时,您会购买专用的 用于查询处理的槽数。您可以指定 按位置为所有附属项目分配插槽 计费帐户。如果您是,请联系您的销售代表 对统一定价感兴趣。

希望以上信息对您有用。

【讨论】:

以上是关于BigQuery 中的分析函数问题的主要内容,如果未能解决你的问题,请参考以下文章

如何自动化 BigQuery SQL 管道

计算 BigQuery 中的谷歌分析独特事件

BigQuery:在使用 UNNEST 函数和清理结果数据的方法后,我选择了更多列

bigquery 分区表的分区修剪

BigQuery 中的谷歌分析实时数据

无法为 Firebase 中的 bigquery 链接启用谷歌分析