将谷歌云存储文件夹挂载到谷歌人工智能平台作业

Posted 2023-02-25

【中文标题】将谷歌云存储文件夹挂载到谷歌人工智能平台作业

【英文标题】：Mount google cloud storage folders to google ai platform job

【发布时间】：2019-08-13 10:41:44

【问题描述】：

我正在尝试使用 google ai 平台设置一个基本的 pytorch 管道。

我不明白谷歌存储如何与人工智能平台作业一起使用。

我正在尝试将几个 google 存储 blob 挂载到我的 AI 平台作业，但完全找不到我该怎么做。我需要做两件事：1）从我的 python pytorch 代码访问数据集，2）在训练完成访问日志和模型后

在 Google AI Platform 教程中，我发现唯一相关的概念是通过 python google.cloud.storage API 手动将数据集下载到作业本地存储，并在程序完成后上传结果。但这在快速研究迭代的情况下肯定是不可接受的（因为数据集很大，并且在训练过程中可能发生崩溃）。

这样一个基本问题的解决方案是什么？

【参考方案1】：

您可以使用Cloud Storage Fuse 挂载您的存储桶，并将其作为本地文件夹使用，以避免数据下载。

【讨论】：

是和不是。是的，用于原型设计，不用于培训。原因是性能和成本（A 类请求计费）。低性能意味着更长的训练时间，因此成本更高。