哪里可以便宜地托管小型 GPU 机器学习 API

Posted 2023-03-04

【中文标题】哪里可以便宜地托管小型 GPU 机器学习 API

【英文标题】：where to host small GPU machine learning API cheaply

【发布时间】：2021-02-19 16:20:47

【问题描述】：

我正在尝试制作一些新的 Web API，这些 API 将极大地受益于 GPU 处理，用于完成/训练过的机器学习模型。我想让它成为一个公开可用的端点。但是 我不知道在哪里托管机器学习爱好项目 API 的实际位置？ 如果有更好的方法（即仅在处理不常见的 API 请求时使用 GPU）我我也对此持开放态度。

AWS 定价https://aws.amazon.com/ec2/pricing/on-demand/

我能看到的最便宜的是 0.50 美元/小时，大约是每月 350 美元

谷歌云定价https://cloud.google.com/compute/gpus-pricing

我能看到的最便宜的是每月 180 美元

巨大的人工智能定价https://vast.ai/console/create/

我发现最便宜的是 0.077 美元/小时，即每月 56 美元

我发现这个 quora 帖子 https://www.quora.com/Which-cloud-hosting-provides-GPU-servers-at-the-lowest-cost 将我指向 https://www.paperspace.com/pricing，这是一个每月 8 美元的解决方案，但我不确定这是否真的是服务器托管。

【参考方案1】：

检查VPS Smart。我认为这是小型项目的最佳选择之一。起价 45.00 美元。

【参考方案2】：

如果您计划托管您的 ML 项目 API，那么我建议您使用具有 K8s 服务能力的平台。这样它就可以在您的 API 负载时按需自动管理向上/向下扩展。

否则你最终会在网上争抢资源。我认为 ovhcloud 和 Alibabacloud 提供托管的 Kubernetes 产品，并且可能会根据您的要求降低成本。

如果您的唯一目的是训练 ML 模型，那么您可以探索以下服务：

Q Blocks - 用于 ML 的分散式 GPU 计算：成本降低 80% Paperspace - 用于 ML 的 GPU 优化平台 Google colab - 免费，但有很多限制

【参考方案3】：

有不同的可能性：

Google Colab：它是免费的，包括带有漂亮用户界面的 Jupyter 笔记本系统。它与 Google Drive 和 GitHub 集成。你可以在这方面进行合作。 GPU 和 TPU 均可用。 GoogleCloud：比 Google Colab 更强大、更可定制。提供 GPU 和 TPU。 Preemptible instances on GoogleCloud：抢占式 VM 提供与常规计算实例相同的机器类型和选项，最长可使用 24 小时。它们适用于大多数学习任务。与普通的 GoogleCloud 相比，它可以将您的 Compute Engine 成本降低多达 80%！ AWS EC2：即使配置不是最简单的配置，spot instances 定价也提供了一种方法，可以节省高达 90% 的按需价格。

更新：

Vast.ai: GPU 共享经济与市场 Paperspace 也为爱好者提供免费的 5GB 持久存储和 6 小时运行时间。其他计划可用（200GB 永久存储每月 8 美元）。计算的每小时价格可用there（GPU：大多数 GPU 为 0.5-2.9 美元/小时）

【讨论】：

虽然我很欣赏这个答案，但我已经说明了谷歌云和 AWS，并指出它们特别昂贵，而且不在业余项目定价范围内。

我发现了一些其他的优惠。你知道你正在寻找的目标定价吗？您的目标是多少小时/月？

好问题，对于业余爱好项目，我想每天可能需要大约 10-100 次操作，而对于爱好，我会说每月 50 美元是一个粗略的目标。如果不可能，那就这样吧，但这是我对爱好的粗略想法

为什么不限制操作次数以适应您的预算？