如何在 Google 云中设置 TensorFlow？

Posted 2023-03-12

【中文标题】如何在 Google 云中设置 TensorFlow？

【英文标题】：How do I set up TensorFlow in the Google cloud?

【发布时间】：2016-09-10 22:35:24

【问题描述】：

我了解如何创建 Google Compute Engine 实例，以及如何在本地运行 TensorFlow； recent Google blog post 建议应该有一种方法来创建 Google Compute Engine 实例并在云中运行 TensorFlow 应用程序：

机器学习项目可以有多种规模，正如我们所见 借助我们的开源产品 TensorFlow，项目通常需要扩展 向上。一些小任务最好使用运行的本地解决方案来处理 一个人的桌面，而大型应用程序需要规模 和托管解决方案的可靠性。谷歌云机器学习 旨在支持全系列并提供从 本地到云环境。

即使我对此进行了深入研究，但考虑到微软 Azure 等竞争平台提供的内容，必须有一种方法来设置 TensorFlow 应用程序（本地开发并“无缝”扩展）到云端，大概使用 GPU）在 Google 云中。

例如，我想在我的 IDE 中本地工作，为我的项目调整功能和代码，在那里运行有限的训练和验证，并定期将代码推送到云端以使用（任意）更多资源在那里运行训练，然后保存并下载训练好的模型。或者甚至更好，只需使用可调资源在云中运行图表（或图表的一部分）。

有没有办法做到这一点；有计划吗？

【问题讨论】：

Which Google Cloud Platform service is the easiest for running Tensorflow?的可能重复

【参考方案1】：

根据用例，可以有多种方式。目前我想到了以下两种方法：

1) 选择项目/计算机引擎/虚拟机实例/创建虚拟机实例。 然后转到VM实例，检查实例/单击SSH（需要“gcloud”）/复制命令并在云shell中运行。 现在您在自己的虚拟机中。在此处安装 pip3。安装 tensorflow（cpu 或 gpu 版本）。并使用它:)

目前，google cloud 支持 tensorflow 版本

如果您对使用 tensorflow-gpu==2.0 感兴趣，可以使用 google Cloud Funcitons，网址为 https://cloud.google.com/blog/products/ai-machine-learning/how-to-serve-deep-learning-models-using-tensorflow-2-0-with-cloud-functions

2) 你可以使用谷歌云AI平台 https://cloud.google.com/ml-engine/docs/packaging-trainer

目前还支持 tensorflow 版本

【参考方案2】：

如Kubernetes blog 所述，您可以在 Kubernetes 上运行 TensorFlow。它链接到“step-by-step tutorial，它向您展示了如何创建 TensorFlow Serving Docker 容器以服务于 Inception-v3 图像分类模型”，您应该能够适应运行您自己的 TensorFlow 工作负载。您可以使用Google Container Engine 在 Google 的云上运行 Kubernetes。

或者，正如 Aaron 所提到的，您可以尝试注册以抢先体验 Google 的 CloudML 产品。

【讨论】：

那是关于使用已经训练好的模型在云中运行推理，对吧？我有兴趣在云中训练模型。

这种方法会自动水平扩展吗？

【参考方案3】：

使用 TPU 加速在 Google Cloud Platform 上使用 TensorFlow 最直接的方法之一是使用 ctpu 命令：

https://cloud.google.com/tpu/docs/quickstart

这将创建您需要的所有内容，并将您登录到可以运行 TensorFlow 程序的 VM。

如果您想避免使用 Google 云外壳，这里有更多关于如何从桌面运行 ctpu 的信息：

https://github.com/tensorflow/tpu/tree/master/tools/ctpu

【参考方案4】：

要在 Google Cloud 上运行 TensorFlow，请按优先顺序：

(1) 使用 Cloud ML 引擎。这是一项完全托管的服务，支持培训和服务。您可以在 CPU、GPU 和 TPU 之间进行选择。

(2) 使用 Deep Learning VM，这是一个已安装 TensorFlow 的 Google Compute Engine 实例：https://cloud.google.com/deep-learning-vm/docs/ -- 您可以将 GPU 添加到此实例。

(3) 在 GKE 上使用 Kubeflow（在 Kubernetes 上使用 TensorFlow）。

【参考方案5】：

这仍然是有限的预览。您能做的最好的事情就是注册并希望他们选择您作为预览的一部分。

https://cloud.google.com/ml/

编辑：CloudML 现在处于公开测试阶段，因此任何人都可以使用它而无需注册和请求访问。我们希望您试一试！我们有一个问题标签：google-cloud-ml。

【讨论】：

这看起来是唯一的选择。我希望他们做出回应：正在决定使用哪个 ML 平台。

【参考方案6】：

我建议您按照本教程逐步指导您：

https://www.youtube.com/watch?v=N422_CYuzZg

这里是设置帐户等的主要文章。

https://cloud.google.com/solutions/machine-learning-with-financial-time-series-data

【讨论】：

这只是云中的（慢）Jupyter 笔记本（无法控制 GPU 访问或性能调整），可以访问一些大数据 API，不是吗？

据我所知，谷歌云没有 GPU 或任何其他性能调整。