可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?

Posted

技术标签:

【中文标题】可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?【英文标题】:possible to make a DDL bigquery statement with airflow BigQueryOperator? 【发布时间】:2020-12-15 21:58:49 【问题描述】:

是否可以在 Airflow BigQUeryOperator 中制作 DDL 语句(脚本)? 因为脚本在 bigquery UI 上是可以的,但是在气流 1.10.12 上运行它时,我遇到了经典错误“在美国位置找不到”,这对我没有多大帮助。 我尝试将 WRITE_DISPOSITION 和 CREATE_DISPOSITION 传递为 None,并且还使用默认值。 看来一定可以参考this

【问题讨论】:

您是否创建了数据集? 是的目标数据集存在。脚本通过 UI 是 OK 的。 【参考方案1】:

实际上,操作符似乎比 DDL 语句还可以。 但是当我尝试编写脚本时,我遇到了问题。 有没有人在 BigQueryOperator on airflow 中使用 bigquery 脚本编写成功?

【讨论】:

以上是关于可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?的主要内容,如果未能解决你的问题,请参考以下文章

BigQueryOperator 可以运行多个 SQL 文件吗?

bigqueryoperator 气流上的 Bigquery 脚本

在 BigQueryOperator 中拉取 xcom

CAD从二制流数据中加载图形(com接口)

Apache Airflow - BigQueryOperator:如何动态设置destination_dataset_table 分区

在 Airflow 中将 Jinja 模板变量与 BigQueryOperator 结合使用