BigQuery 是不是支持“立即执行”命令来运行动态查询?

Posted

技术标签:

【中文标题】BigQuery 是不是支持“立即执行”命令来运行动态查询?【英文标题】:Does BigQuery support "execute immediate" command to run dynamic query?BigQuery 是否支持“立即执行”命令来运行动态查询? 【发布时间】:2018-05-14 16:13:05 【问题描述】:

我可以在 Oracle 中使用“execute immediate 'sql query..'”命令动态创建表。



    create or replace function make_a_table1(p_table_name varchar2, p_column_name varchar2, p_data_type varchar2) return varchar2 is
    var varchar2(150);
    sydt varchar2(30);
    pragma autonomous_transaction;
    begin
    select to_char(sysdate,'HH24_MI_SS') into sydt from dual;
    dbms_output.put_line(sydt);
    var :='create table '||p_table_name||'_'||sydt||' ( '||p_column_name||' '||p_data_type||')';
    dbms_output.put_line(var);
      execute immediate var;  
      commit;
      return 'Table Created Successfully';
    end;

是否可以在 BigQuery 函数中实现这一点?

【问题讨论】:

请参阅How to Ask 和The perfect question。 【参考方案1】:

是的,BigQuery 支持EXECUTE IMMEDIATE 命令运行动态查询。

DECLARE p_dataset_name STRING DEFAULT 'mydataset';
DECLARE p_table_name STRING DEFAULT 'demo';
DECLARE p_column_name STRING DEFAULT 'c1';
DECLARE p_data_type STRING DEFAULT 'string';
DECLARE sydt STRING;
DECLARE qry STRING;
SET sydt = CONCAT(EXTRACT(HOUR from CURRENT_TIMESTAMP()),'_',EXTRACT(MINUTE from CURRENT_TIMESTAMP()),'_',EXTRACT(SECOND from CURRENT_TIMESTAMP()));
SET qry = 'create table '||p_dataset_name||'.'||p_table_name||'_'||sydt||' ('||p_column_name||' '||p_data_type||')';
EXECUTE IMMEDIATE qry;

【讨论】:

【参考方案2】:

要在 SQL 中运行动态查询,您需要:

    使用字符串操作和函数构造查询。 将构造的字符串作为查询执行。

BigQuery 支持 #1,但截至撰写本文时,它还没有针对 #2 的 EXEC 语句。

如果您想在 BigQuery 中运行动态查询,则必须在云函数(或类似环境)中构造字符串,然后通过 API 将查询发送到 BigQuery。

【讨论】:

【参考方案3】:

您必须通过 API 使用外部调用。我为此使用 Python。参数基础查询和动态查询。据我所知,目前大查询不支持变量或执行 sql 命令,直接使用 SQL(如 TSQL)

【讨论】:

【参考方案4】:

您可以在两种“模式”中运行 BigQuery 查询 - interactivebatch

默认情况下,BigQuery 运行交互式查询,这意味着查询会尽快执行。交互式查询计入您的并发速率限制和每日限制。

BigQuery 还提供批量查询。 BigQuery 代表您对每个批处理查询进行排队,并在空闲资源可用时立即启动查询,通常在几分钟内。如果 BigQuery 未在 24 小时内启动查询,BigQuery 会将作业优先级更改为交互式。批量查询不计入并发速率限制,这样可以更轻松地一次启动多个查询。

两者都在 WebUI、命令行、API 和客户端中可用

【讨论】:

我想在运行时动态构建 SQL 语句(不是参数化查询)。有什么方法可以在 BigQuery 中创建? 您必须更好地解释您的问题(举一些例子)。我猜你在问client libraries for Bigquery。阅读此documentation。不确定这是否是您正在搜索的内容。

以上是关于BigQuery 是不是支持“立即执行”命令来运行动态查询?的主要内容,如果未能解决你的问题,请参考以下文章

运行 ssh 并立即执行命令 [重复]

从命令行轻松运行 BigQuery 查询并下载结果?

如何获取在 BigQuery 命令行工具中运行的最后一个作业的作业 ID?

BigQuery 是不是支持分析用户定义的函数?

BigQuery 是不是支持批量导入模板表?

Cloud Dataflow 中的“辅助输入”是不是支持从 BigQuery 视图中读取?