通过 HTTP 创建但未在 SDK 或查看器中列出的 Google Dataproc 集群

Posted 2023-03-25

【中文标题】通过 HTTP 创建但未在 SDK 或查看器中列出的 Google Dataproc 集群

【英文标题】：Google Dataproc cluster created via HTTP but not listed in SDK or viewer

【发布时间】：2017-12-08 21:41:51

【问题描述】：

我目前正在使用 Google Cloud Platform 在云中运行 Spark 作业。为此，我计划使用 Google Cloud Dataproc。

这是我正在自动化的工作流程：

在 Google Cloud Storage 上上传一个 csv 文件，该文件将作为我的 Spark 作业的输入 上传时，触发一个 Google Cloud Functions，它应该通过 Dataproc 可用的 HTTP API 创建集群、提交作业并关闭集群

我可以使用google apis nodejs client (http://google.github.io/google-api-nodejs-client/latest/dataproc.html) 从我的 Google Cloud Function 创建集群。但问题是我无法在 Dataproc 集群查看器上看到这个集群，甚至无法使用 Gcloud sdk：gcloud dataproc clusters list。

但是，我可以在 Google Api explorer 上看到我新创建的集群：https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list。

请注意，我正在当前项目中创建集群。

使用 gcloud sdk 列出时看不到该集群，我可能做错什么？

提前感谢您的帮助。

问候。

【参考方案1】：

我敢打赌这与“地区”字段有关。开箱即用的 Cloud SDK 默认为“全球”区域 [1]。尝试使用带有 --region 标志的 dataproc Cloud SDK 命令（例如，gcloud dataproc clusters list --region）

[1]https://cloud.google.com/dataproc/docs/concepts/regional-endpoints

【讨论】：

你完全正确！由于我无法在查看器上选择其他区域，所以我看不到它...

仅供参考，Regional Endpoints 上周刚刚在 GA 结束，本周我们将完成 UI 组件的分阶段推出，因此很快您应该会开始看到一个下拉菜单，其中列出了所有控制台 UI 中的区域端点