错误:启动 Dataproc 集群时资源项目的权限被拒绝

Posted

技术标签:

【中文标题】错误:启动 Dataproc 集群时资源项目的权限被拒绝【英文标题】:Error: permission denied on resource project when launching Dataproc cluster 【发布时间】:2018-03-08 03:26:23 【问题描述】:

我通过gcloud dataproc clusters create... 手动创建了一个 dataproc 集群,成功启动了它。但是,当我尝试通过脚本(自动配置和停止集群)启动一个时,它会显示ERROR: (gcloud.dataproc.clusters.create) PERMISSION_DENIED: Permission denied on resource project hail-test-project (#0)。我不明白为什么,因为脚本使用相同的命令。

【问题讨论】:

【参考方案1】:

一个可能的原因是您使用了错误的项目。您应该使用您的项目 ID,而不是您的项目名称。有时它们是相同的,有时不是。我刚刚遇到了这个问题,我认为这可能是可能的原因,它对以后发现这个问题的其他人很有用。

【讨论】:

适用于我的情况。我只是将项目名称更改为项目 ID。 gcloud config set project project-id 谢谢,新手很可能不知道他们以前做了什么 节省了我 10 个小时!【参考方案2】:

听起来脚本可能以不同于您手动运行gcloud dataproc clusters create... 时的用户身份运行。 gcloud 使用您的主目录进行配置,因此您的脚本主体将取决于它运行的用户。

【讨论】:

以上是关于错误:启动 Dataproc 集群时资源项目的权限被拒绝的主要内容,如果未能解决你的问题,请参考以下文章

如何在 dataproc 集群上重新启动 hadoop 服务

GCP Dataproc 节点中没有资源来启动新的 SparkSession

自动设置 Dataproc 集群后 Yarn/Spark 的内存分配不正确

在启动 Google DataProc 集群以与 Jupyter 笔记本一起使用时,如何包含其他 jar?

使用 Spark BigQuery 连接器启动 Dataproc 集群

Dataproc 集群最多可并行运行 5 个作业,忽略可用资源