在 Google Colab Pro 中使用 TPU v3

Posted 2023-03-16

【中文标题】在 Google Colab Pro 中使用 TPU v3

【英文标题】：Use TPU v3 in Google Colab Pro

【发布时间】：2021-02-20 10:19:46

【问题描述】：

有没有办法 而不是 TPU v2？

很遗憾，我在 TPU v2 中收到一条错误消息 Compilation failure: Ran out of memory in memory space hbm. Used 8.29G of 7.48G hbm. Exceeded hbm capacity by 825.60M.，而在 TPU v3 中我不再收到该消息。因为 TPU v3 有更多内存。

有人知道可能性/选项吗？

这样我就启动了 TPU

try:
  tpu = tf.distribute.cluster_resolver.TPUClusterResolver()  # TPU detection
  print('Running on TPU ', tpu.cluster_spec().as_dict()['worker'])
except ValueError:
  raise BaseException('ERROR: Not connected to a TPU runtime; please see the previous cell in this notebook for instructions!')


tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
#tpu_strategy = tf.distribute.experimental.TPUStrategy(tpu)
strategy = tf.distribute.TPUStrategy(tpu)

【参考方案1】：

简短的回答是否定的。无法指定您想要的特定 TPU 版本。虽然我相信 Kaggle 提供了 v3-8 TPU（由于它是免费的，因此它也可能会发生变化）。此外，正如另一个答案所指出的，您也可以自己启动付费 Cloud TPU，您可以为其指定特定的硬件。

【讨论】：

你知道我如何在 Google Colab 中使用 Google Cloud TPU 吗？

您可以通过在以下位置选择加速器来在 CPU、GPU 和 TPU 运行时之间进行选择：运行时 > 更改运行时类型 > 硬件加速器（下拉菜单）。

是否可以通过 SSH 连接到 TPU 上的 Colab 笔记本？我知道如何在 GPU 上通过 ssh 连接到一个，但在过去的几个小时里，我无法将自己与 TPU 连接起来。

【参考方案2】：

据我所知，Colab 的免费版本不提供任何方式来选择 GPU 或 TPU。不过，还有专业版。

如果确实需要，您可以以 8.00 美元/小时的价格从 CloudTPU 购买特定的 TPU v3。

引用自 Colab 常见问题解答：

您无法在任何给定时间选择可以在 Colab 中连接的 GPU 类型。对更可靠地访问 Colab 最快的 GPU 感兴趣的用户可能会对 Colab Pro 感兴趣。

【讨论】：

纳扎鲁克感谢您提供的信息！那么你知道如何在 Google Colab 中使用 Google Cloud TPU 吗？你有参考吗？

我不知道如何简单而清楚地回答这个问题。我只能参考你Cloud Documentation。此外，他们有一个free trial