可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?
Posted
技术标签:
【中文标题】可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?【英文标题】:possible to make a DDL bigquery statement with airflow BigQueryOperator? 【发布时间】:2020-12-15 21:58:49 【问题描述】:是否可以在 Airflow BigQUeryOperator 中制作 DDL 语句(脚本)? 因为脚本在 bigquery UI 上是可以的,但是在气流 1.10.12 上运行它时,我遇到了经典错误“在美国位置找不到”,这对我没有多大帮助。 我尝试将 WRITE_DISPOSITION 和 CREATE_DISPOSITION 传递为 None,并且还使用默认值。 看来一定可以参考this
【问题讨论】:
您是否创建了数据集? 是的目标数据集存在。脚本通过 UI 是 OK 的。 【参考方案1】:实际上,操作符似乎比 DDL 语句还可以。 但是当我尝试编写脚本时,我遇到了问题。 有没有人在 BigQueryOperator on airflow 中使用 bigquery 脚本编写成功?
【讨论】:
以上是关于可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?的主要内容,如果未能解决你的问题,请参考以下文章
BigQueryOperator 可以运行多个 SQL 文件吗?
bigqueryoperator 气流上的 Bigquery 脚本
Apache Airflow - BigQueryOperator:如何动态设置destination_dataset_table 分区