GCP Vertex AI 中的批量预测

Posted

技术标签:

【中文标题】GCP Vertex AI 中的批量预测【英文标题】:batch predictions in GCP Vertex AI 【发布时间】:2021-12-09 20:38:31 【问题描述】:

在 GCP Vertex AI 中为 AutoML 模型尝试批量预测时,批量预测结果跨越多个文件(从用户角度来看,这并不方便)。如果它是一个单一的批量预测结果文件,即覆盖单个文件中的所有记录,它将使过程更加简单。

例如,我的输入数据集文件中有 5585 条记录。批量预测结果由21个文件组成,每个文件有200-300条记录,总共覆盖5585条记录。

【问题讨论】:

【参考方案1】:

对图像、文本、视频、表格 AutoML 模型进行批量预测,使用分布式处理运行作业,这意味着数据分布在任意虚拟机集群中,并以不可预测的顺序进行处理,因此您将获得预测结果存储在 Cloud Storage 中的各种文件中。由于批量预测输出文件的生成顺序与输入文件的顺序不同,因此已提出功能请求,您可以通过此 link 跟踪此请求的更新。

我们目前无法提供预计到达时间,但您可以关注问题跟踪器中的进度,您可以通过引用 link 来“星标”问题以接收自动更新并给予关注。

但是,如果您正在对 tabular AutoML model 进行批量预测,您可以选择 BigQuery 作为存储,其中所有预测输出都将存储在一个表中,然后您可以将表数据导出到单个 CSV 文件。

【讨论】:

以上是关于GCP Vertex AI 中的批量预测的主要内容,如果未能解决你的问题,请参考以下文章

Vertex AI 自定义容器批量预测

如何使用 Web GUI 停止 Google Cloud AutoML(现为 Vertex AI)批量预测作业?

Vertex AI 模型批量预测因内部错误而失败

在 Vertex AI(谷歌云平台)中使用模型进行预测

在 GCP Ai 平台上进行预测

Vertex AI 自定义预测与 Google Kubernetes Engine