如何设置 Airflow DAG 权限以查询基于 Google Sheets 文档构建的 BigQuery 表?

Posted

技术标签:

【中文标题】如何设置 Airflow DAG 权限以查询基于 Google Sheets 文档构建的 BigQuery 表?【英文标题】:How do I set up Airflow DAG permissions to query a BigQuery table that is built on top of a Google Sheets doc? 【发布时间】:2021-02-19 20:59:24 【问题描述】:

我有一个 Airflow DAG,它安排了一组 BigQuery 脚本(以及一些其他步骤)。我希望我的一个 BigQuery 表基于一组可以轻松更改的 Google Sheet 输入。根据 Google 表格设置表格很容易,但如果我这样做,我的 Airflow 作业会出错:

异常:BigQuery 作业失败。最终错误是:'原因': 'accessDenied', 'location': '/gdrive/id/123....', 'message': '访问 拒绝:BigQuery BigQuery:通配文件时权限被拒绝 模式。'

我假设我需要为 Airflow 作业添加一定级别的权限才能访问此表格文件,但我不确定如何操作。谁能给点建议?

【问题讨论】:

【参考方案1】:

您需要将https://www.googleapis.com/auth/drive 添加到您的 Google 连接中的范围。您可以通过 Admin -> Connections 在 UI 中执行此操作。

请参阅docs 了解更多信息。

【讨论】:

以上是关于如何设置 Airflow DAG 权限以查询基于 Google Sheets 文档构建的 BigQuery 表?的主要内容,如果未能解决你的问题,请参考以下文章

如何向 Airflow 添加新的 DAG?

如何在 Airflow 中设置 DAG 之间的依赖关系?

大数据调度平台Airflow:Airflow使用

如何使用 TriggerDagRunOperator 触发 Airflow -dag

Airflow dag 中的 postgres_operator 问题

如何使用 Python 在 Airflow 中成功触发另一个 DAG 时触发 DAG?