可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗？

Posted 2023-03-25

【中文标题】可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗？

【英文标题】：possible to make a DDL bigquery statement with airflow BigQueryOperator?

【发布时间】：2020-12-15 21:58:49

【问题描述】：

是否可以在 Airflow BigQUeryOperator 中制作 DDL 语句（脚本）？ 因为脚本在 bigquery UI 上是可以的，但是在气流 1.10.12 上运行它时，我遇到了经典错误“在美国位置找不到”，这对我没有多大帮助。 我尝试将 WRITE_DISPOSITION 和 CREATE_DISPOSITION 传递为 None，并且还使用默认值。 看来一定可以参考this

【问题讨论】：

您是否创建了数据集？

是的目标数据集存在。脚本通过 UI 是 OK 的。

【参考方案1】：

实际上，操作符似乎比 DDL 语句还可以。 但是当我尝试编写脚本时，我遇到了问题。 有没有人在 BigQueryOperator on airflow 中使用 bigquery 脚本编写成功？