如何在bigquery中以最少的数据库命中执行多个sql

Posted

技术标签:

【中文标题】如何在bigquery中以最少的数据库命中执行多个sql【英文标题】:how to execute multiple sqls in bigquery with minimum db hits 【发布时间】:2021-12-16 11:32:23 【问题描述】:

我们有需求,我们在数据框中有一堆 SQL 并希望在 BQ 中执行。如果该查询返回数据,则要在数据框中设置标志 Y 否则为 N。有什么方法可以一次性在 BQ 中执行多个句子,即单次点击 BQ

【问题讨论】:

【参考方案1】:

您可以使用分号将多个 SQL 语句添加到单个脚本中。

SELECT 1;
SELECT 2;
SELECT 3;

运行该脚本而不是三个单独的脚本将减少您的 API 调用次数,但不一定会限制您的 BQ 读取成本。您将需要提供有关您的 SQL 的更多信息,并可能对其进行重构以降低读取成本。

【讨论】:

以上是关于如何在bigquery中以最少的数据库命中执行多个sql的主要内容,如果未能解决你的问题,请参考以下文章

BigQuery 会话和命中级别的理解

unnest 是不是始终在 Bigquery 中按命中数的升序显示数据

如何在 BigQuery 客户端 Python API 中以原子方式覆盖表

如何在 BigQuery 中以字符串格式将工作日月份转换为日期?

使用 BigQuery 提取命中级别数据时,Google Analytics 指标被夸大了

在 bigquery 中以编程方式更新/插入数据