为查询中的每个结果创建一个 BigQuery VIEW

Posted

技术标签:

【中文标题】为查询中的每个结果创建一个 BigQuery VIEW【英文标题】:Create a BigQuery VIEW for each result in query 【发布时间】:2020-06-16 16:43:34 【问题描述】:

我创建了这个查询:

SELECT
(SELECT value from UNNEST(project.labels) where key = "project") as project,
ROUND(SUM(cost), 2) as cost
FROM cloud.dataset.billing_export
group by ar

它返回给我类似的东西:

Row | project | cost

  1 | PJ1     | 23

  2 | PJ2     | 50

有没有办法为每个值(每个项目)创建一个视图? 我正在尝试使用 UDF,每个视图都必须有一个基于项目的名称(例如:view_PJ1)并且得到类似的名称(但有很多错误):

LOOP
SET vars = (SELECT (SELECT value FROM UNNEST(project.labels) WHERE key = "project") AS project
            FROM FROM cloud.dataset.billing_export
            GROUP BY project);
  IF vars=null THEN
    LEAVE;
  END IF;
CREATE OR REPLACE VIEW `cloud`.`dataset`.AR
AS
SELECT DISTINCT
     (SELECT value from UNNEST(project.labels) where key = "project") as project,
     ROUND(SUM(cost), 2) as cost
     FROM cloud.dataset.billing_export
     WHERE project=vars
     GROUP BY project;
END LOOP;

提前致谢

【问题讨论】:

我猜您可以在 BigQuery 之外编写脚本 - 但为什么呢? 那是我的 B 计划。仍在尝试解决 BigQuery 平台内部的问题,以将所有内容保存在一个地方。为什么?我想为每个项目生成一个视图。 【参考方案1】:

这是一个在 BigQuery 中运行的脚本,它生成 4 个视图 - 为每个视图指定一个来自 SQL 查询的名称:

DECLARE x INT64 DEFAULT 0;
DECLARE rs ARRAY<STRING>;

SET rs = (
  WITH data AS (SELECT i FROM `fh-bigquery.public_dump.numbers_255` WHERE i < 4)
  SELECT ARRAY_AGG( 
    'CREATE OR REPLACE VIEW `temp.number' || i
    ||'` AS SELECT i FROM `fh-bigquery.public_dump.numbers_255` WHERE i=' || i
  )  
  FROM data
);

LOOP
  EXECUTE IMMEDIATE(SELECT rs[OFFSET(x)]);
  SET x = x + 1;
  IF x >= ARRAY_LENGTH(rs) THEN
    LEAVE;
  END IF;
END LOOP;

秘诀是使用EXECUTE IMMEDIATE 和生成的字符串来创建视图。

【讨论】:

以上是关于为查询中的每个结果创建一个 BigQuery VIEW的主要内容,如果未能解决你的问题,请参考以下文章

通过 Google BigQuery API 将查询结果导出为 JSON

在 bigquery 上查询项目中的所有数据集和表?

创建将参数显示为列的查询 - BigQuery

查询结果后 BigQuery 导出多个文件

Bigquery SQL代码可以提供最早的联系

Google Bigquery:如何从 Web UI 查询界面以编程方式创建表(保存结果)?