BigQueryCheckOperator 在 Cloud Composer 中失败，出现 404 错误

Posted 2023-03-25

【中文标题】BigQueryCheckOperator 在 Cloud Composer 中失败，出现 404 错误

【英文标题】：BigQueryCheckOperator failed with 404 Error in Cloud composer

【发布时间】：2020-07-29 20:40:41

【问题描述】：

我在 Airflow 中使用 BigQueryCheckOperator 来了解数据是否存在于 BQ 表中，但 Dag 因ERROR - <HttpError 404 when requesting https://bigquery.googleapis.com/bigquery/v2/projects/ 而失败

Here is the logs of the Dag

谁能告诉我如何解决这个问题？

【问题讨论】：

嗨，SRK。您的帖子将受益于有关您正在做什么的更多信息。你可以添加你正在运行的代码和命令来得到这个错误吗？请avoid using images for code and logs。相反，format your code and logs 在帖子中。您可能会受益于阅读how to ask a question

上的帖子

【参考方案1】：

这是已知的 Airflow 问题，查询位于某些 Bigquery 运营商 submodules 内的非多区域位置（美国、欧洲）的 Bigquery 数据集，拉取请求 #8273 已经提出。

您还可以查看this Stack 线程以获得最准确的问题解释。

到目前为止，已宣布在 Airflow 2.0 版本中修复此问题，但社区组已推送Backport package 以帮助使用旧 Airflow 1.10.* 版本的用户，并将在进一步构建 Airflow 时考虑GCP Composer 的图像。

寻找解决方法，您可以尝试调整 BashOperator 调用 bq command-line 工具，以尝试针对特定 DAG 文件中的 Bigquery 数据集执行特定操作。