如何使用apache气流调度谷歌云bigquery存储过程

Posted 2023-03-25

【中文标题】如何使用apache气流调度谷歌云bigquery存储过程

【英文标题】：how to use apache airflow schedule google cloud bigquery stored procedure

【发布时间】：2021-07-08 13:17:44

【问题描述】：

我想在 apache 气流中安排一个谷歌云 bigquery 存储过程。我没有在气流中看到任何文件。我应该使用哪个调度程序在 apache 气流上调度 bigquery 存储过程。你能给我看一些例子吗？非常感谢。

https://airflow.apache.org/docs/apache-airflow-providers-google/stable/operators/cloud/bigquery.html#execute-bigquery-jobs

【参考方案1】：

BigQueryInsertJobOperator 应该是在您的 DAG 中用于执行 SQL 的运算符 - 这是您在 BigQuery 中调用存储过程时要执行的操作。

例如：

call_stored_procedure = BigQueryInsertJobOperator(
    task_id="call_stored_procedure",
    configuration=
        "query": 
            "query": "CALL `project_id.dataset.stored_procedure_name`(arg1, arg2); ",
            "useLegacySql": False,
        
    ,
    location=location,
)

【讨论】：

我在气流文档中没有找到这个操作符。您在哪里找到这个 BigQueryInsertJobOperator？

它位于问题链接中的“airflow/providers/google/cloud/example_dags/example_bigquery_queries.py”示例中。

非常感谢！