安排批量预测 Vertex AI
Posted
技术标签:
【中文标题】安排批量预测 Vertex AI【英文标题】:Schedule batch predictions Vertex AI 【发布时间】:2021-11-19 16:55:27 【问题描述】:我在 Vertex AI 上使用 AutoML 创建了一个预测模型。我想使用这个模型每周进行批量预测。有没有办法安排这个?
进行这些预测的数据存储在一个 bigquery 表中,该表每周更新一次。
【问题讨论】:
【参考方案1】:Vertex AutoML 中还没有直接的自动调度,但在 GCP 中可以通过多种不同的方式进行设置。
首先尝试使用可用于 BigQuery 和 Vertex 的客户端库的两个选项:
Cloud Scheduler 使用 cron https://cloud.google.com/scheduler/docs/quickstart 使用 Cloud Functions 或 Cloud Run 设置 BigQuery 事件触发器,然后触发 AutoML 批量预测。重新利用https://cloud.google.com/blog/topics/developers-practitioners/how-trigger-cloud-run-actions-bigquery-events 的示例【讨论】:
【参考方案2】:不确定您是否正在使用 Vertex 管道来运行预测作业,但如果您使用了 here 列出的安排管道执行的方法。
from kfp.v2.google.client import AIPlatformClient # noqa: F811
api_client = AIPlatformClient(project_id=PROJECT_ID, region=REGION)
# adjust time zone and cron schedule as necessary
response = api_client.create_schedule_from_job_spec(
job_spec_path="intro_pipeline.json",
schedule="2 * * * *",
time_zone="America/Los_Angeles", # change this as necessary
parameter_values="text": "Hello world!",
# pipeline_root=PIPELINE_ROOT # this argument is necessary if you did not specify PIPELINE_ROOT as part of the pipeline definition.
)
【讨论】:
谢谢马努!不幸的是,这对于预测模型是不可能的,但对于分类来说似乎是可能的。据我了解,Vertex 不支持为预测模型创建端点。以上是关于安排批量预测 Vertex AI的主要内容,如果未能解决你的问题,请参考以下文章
如何使用 Web GUI 停止 Google Cloud AutoML(现为 Vertex AI)批量预测作业?
Vertex AI 自定义预测与 Google Kubernetes Engine
用于服务模型预测的 Google Kubernetes Engine vs Vertex AI(AI Platform Unified)