同一个 GCP 项目中的 Kubeflow 管道存储访问错误？

Posted 2023-03-29

【中文标题】同一个 GCP 项目中的 Kubeflow 管道存储访问错误？

【英文标题】：Kubeflow pipelines storage access error inside same GCP Project?

【发布时间】：2020-06-27 15:56:17

【问题描述】：

在新的 GKE 集群（通过 https://deploy.kubeflow.cloud）上安装 Kubeflow 0.7 后，我根据各自的教程配置了 OAuth 和 Workload Identity。

在我的管道上，我必须从同一个项目访问 GCS 存储桶，而且我似乎无权访问此操作。

但是，集群确实有权访问 GCR 和存储权限，但确实可以下载和挂载 Docker 映像并运行代码。当代码请求时，它无法从其他存储桶下载，即使这些存储桶在同一个项目中。

代码使用默认的认证方式：

storage_client = storage.Client(project_id)
bucket = storage_client.get_bucket(bucket)

有没有人知道如何通过访问 do BigQuery（下载这些文件后访问）来解决和防止这种情况发生

google.api_core.exceptions.Forbidden: 403 GET https://storage.googleapis.com/storage/v1/b/$BUCKET?projection=noAcl Primary: /namespaces/$PROJECT_ID.svc.id.goog with additional claims does not have storage.buckets.get access to $BUCKET.

【参考方案1】：

好的，对于任何有类似问题的人。我忘记在代码step.apply(gcp.use_gcp_secret('user-gcp-sa'))中添加以下sn-p@

即使kfp.components.load_component_from_file() 也可以使用

感谢 kubeflow slack 频道的出色人员，让我们解决了这个问题！