从 TPU 虚拟机写入 GCP 存储桶

Posted 2023-03-29

【中文标题】从 TPU 虚拟机写入 GCP 存储桶

【英文标题】：Write on GCP bucket from TPU vm

【发布时间】：2022-01-23 13:10:40

【问题描述】：

我正在使用 GCP 上的 TPU 虚拟机训练一个 bert 模型。 我想将我的存储桶用作数据集库缓存文件路径。我已按照指示 https://cloud.google.com/tpu/docs/tutorials/bert-2.x 并在 HF_DATASETS_CACHE 环境变量中设置我的存储桶链接。

但我收到此错误：Exception in device=TPU:0: [Errno 2] No such file or directory: 'gs:/darijabert_bucket/datasets_Cache

我的HF_DATASETS_CACHE 设置为 gs://darijabert_bucket/datasets_Cache

谢谢

【参考方案1】：

该错误似乎表明指定的存储桶不存在。存储桶gs:/darijabert_bucket/datasets_Cache 是否存在于您的项目和正确的区域中？您可以通过在 GCP 控制台中检查它来仔细检查它是否存在。

此外，请确保存储桶与您的 TPU 虚拟机位于同一区域，如教程所述：

The bucket location must be in the same region as your Compute Engine (VM) and your Cloud TPU node.

【讨论】：

谢谢。我的存储桶存在于我的项目中，它是多区域的，而 tpu 虚拟机位于 europe-west4-a 上。你觉得 Multi-region 不行，一定是在 europe-west4-a？

嗯，我认为多区域应该没问题。话虽如此，我建议您仍然尝试在europe-west4-a 中创建一个存储桶，然后再试一次。