Vertex AI 自定义容器批量预测

Posted 2023-03-29

【中文标题】Vertex AI 自定义容器批量预测

【英文标题】：Vertex AI custom container batch prediction

【发布时间】：2021-12-24 09:51:57

【问题描述】：

我创建了一个用于预测的自定义容器并成功地将模型上传到 Vertex AI。我还能够将模型部署到端点并成功地从端点请求预测。在自定义容器代码中，我使用here 所述的parameters 字段，然后在发出在线预测请求时提供该字段。 我的问题是关于从自定义容器请求批量预测以进行预测。

我找不到任何文档来描述当我请求批量预测时会发生什么。例如，我使用 Python SDK 中的my_model.batch_predict 函数并将instances_format 设置为“csv”并提供gcs_source。现在，我已经将我的自定义容器设置为在/predict 处期待预测请求，如documentation 中所述。 Vertex AI 是否向该路径发出 POST 请求，将 cvs 数据转换为适当的 POST 正文？

如何像在线预测一样为批量预测指定parameters 字段？

【问题讨论】：

如果我的回答解决了您的问题，请考虑支持/接受它。如果没有，请告诉我，以便我改进答案。

您的回答没有回答我的任何问题，您只是描述了批量预测的工作原理。

【参考方案1】：

是的，顶点 AI 在批量预测中向您的自定义容器发出 POST 请求。

不，批量预测无法传递parameter，因为我们不知道哪一列是“参数”。我们将所有内容都放入“实例”中。

【讨论】：

那么，这是否意味着使用自定义预测容器无法进行批量预测，还是有替代方案？

如果您不遵循与 stock 容器相同的协议，则必须使用 Jsonl 之类的东西作为输入，您可以在其中指定任何您希望的输入格式