GCP：自动缩放为零的 AI ML 服务

Posted 2023-03-29

【中文标题】GCP：自动缩放为零的 AI ML 服务

【英文标题】：GCP: IA ML serving with autoscaling to zero

【发布时间】：2021-08-21 15:57:48

【问题描述】：

我想尝试来自 GCP 的 ML 服务 AI 平台，但我希望节点仅在调用预测时进行扩展。

我在documentation here看到：

如果您选择“自动缩放”，则会显示可选的最小节点数字段。当服务缩减时，您可以输入始终保持运行的最小节点数。该字段默认为 0。

但是当我尝试创建我的模型版本时，它显示一个错误，告诉我这个字段应该 > 1。

这是我尝试过的：

名称：testv1 预建容器 Python 3.7 框架张量流 TF 版本 2.4.0 机器学习 2.4 缩放自动缩放 最小节点数 nb 0 机器类型 n1-standard-4 GPU TESLA_K80 * 1

【参考方案1】：

我试图重现你的情况，发现同样的事情，我无法将Minimum number of nodes 设置为 0。

这似乎是一个过时的文档问题。有一个正在进行的 Feature Request 解释说可以使用旧机器类型设置至少 0 台机器，并请求使该选项也可用于当前类型。

另一方面，我继续打开一张票来更新文档。

作为一种解决方法，您可以在需要时立即部署您的模型，然后继续 un-deploy 它们。请注意，取消部署最多可能需要 45 分钟，因此建议等待 1 小时重新部署该模型以避免出现任何问题。