Vertex AI 自定义预测与 Google Kubernetes Engine

Posted 2023-03-29

【中文标题】Vertex AI 自定义预测与 Google Kubernetes Engine

【英文标题】：Vertex AI custom prediction vs Google Kubernetes Engine

【发布时间】：2021-12-26 22:17:48

【问题描述】：

我一直在探索将 Vertex AI 用于我的机器学习工作流程。因为在 Vertex AI 中不可能仅使用一个节点将不同的模型部署到同一端点，所以我正在考虑使用 workaround。有了这个解决方法，我将无法使用许多 Vertex AI 功能，例如模型监控、特征归因等，而且我认为它只是在 GKE 集群上运行预测应用程序的托管替代方案。因此，除了成本差异之外，我正在探索在 Vertex AI 与 GKE 上运行自定义预测容器是否会涉及任何限制，例如，只有 N1 机器类型可用于 Vertex AI 中的预测

有一个类似的question，但我没有提出我希望回答的具体问题。

我不确定可用的磁盘空间。在 Vertex AI 中，可以指定机器类型，例如 n1-standard-2 等，但我不确定可用的磁盘空间以及是否/如何指定它？在自定义容器代码中，我可能会在处理多个模型工件或来自外部源的数据之前将它们复制到本地目录，因此了解任何磁盘空间限制非常重要。 对于 Vertex AI 中的自定义训练，可以使用交互式 shell 来检查运行训练代码的容器，如 here 所述。对于自定义预测容器，这样的事情可能吗？我没有在文档中找到任何内容。 对于自定义培训，可以使用私有 IP 进行自定义培训，如 here 所述。同样，我在文档中没有发现任何类似的自定义预测，这可能吗？

如果您知道任何其他可能的限制，请发布。

【参考方案1】：

我们没有指定磁盘大小，所以默认为 100GB 我现在不知道这一点。但如果它是自定义容器，您可以在本地或 GKE 上运行它以进行调试。 你在找这个吗？ https://cloud.google.com/vertex-ai/docs/predictions/using-private-endpoints

【讨论】：

谢谢，可以更改默认磁盘大小吗？是的，我可以在本地运行自定义容器以进行调试，但是能够通过 ssh 进入已部署的容器确实很有帮助。不知道为什么这是不可能的，因为它是针对自定义训练容器的，实际上它甚至不会无限期地运行，并且会在训练作业结束后终止。

不，默认大小由 GKE 配置，因此无法更改默认值。对于第二个问题，你想从正在运行的预测容器中得到什么？无法通过 SSH 访问的原因是安全问题。