错误：（bq）无法创建私有文件 [/home/airflow/.config/gcloud/credentials.db]

Posted 2023-03-25

【中文标题】错误：（bq）无法创建私有文件 [/home/airflow/.config/gcloud/credentials.db]

【英文标题】：ERROR: (bq) Unable to create private file [/home/airflow/.config/gcloud/credentials.db]

【发布时间】：2021-07-19 08:39:39

【问题描述】：

我正在尝试使用 docker 将一些 DAG 部署到我的本地环境中。

我已获得 Google 应用程序默认凭据并确保已安装它。 进入 Airflow UI 时没有显示错误，但是当我运行 DAG 时，涉及 BashOperator（特别是 bq 命令行工具）的任务将始终失败并在日志中显示以下错误

ERROR: (bq) Unable to create private file [/home/airflow/.config/gcloud/credentials.db]: [Errno 1] Operation not permitted: '/home/airflow/.config/gcloud/credentials.db'

当我将包含 DAG 的同一 python 文件部署到 Cloud Composer 上时，它运行良好，没有任何问题。

你们能帮我弄清楚这里发生了什么以及如何让任务运行吗？非常感谢

【参考方案1】：

检查每个容器内的服务帐户。 gcloud config list 和 gcloud auth list

检查该服务帐户的 BQ 权限。