如何扩展 kubeflow 管道（使用顶点 ai），或者它只是自动完成

Posted 2023-03-29

【中文标题】如何扩展 kubeflow 管道（使用顶点 ai），或者它只是自动完成

【英文标题】：how to scale out kubeflow pipelines (using vertex ai), or it just done automatically

【发布时间】：2021-09-21 09:22:10

【问题描述】：

我正在运行一个包含不同组件的 kubeflow 管道，用于数据预处理、训练等阶段。

我知道我可以为每个阶段（组件）使用特定的图像。 （例如不使用 gpu 或使用 gpu 进行训练的图像。

我的问题是如何设置管道以针对不同阶段（组件）进行扩展？

或者它只是自动完成

谢谢。

【参考方案1】：

由于containerization，在每个组件（步骤）上分配的资源量受到其运行资源的限制。 对于管道中使用的 GCP 产品（例如 Dataflow、AutoML），资源会根据 product scalability 自动扩展。 可以创建自定义组件，为此 Vertex AI 允许您为each step 选择资源量（例如机器类型、CPU 限制、GPU 限制）。对于自定义培训，您还可以选择 more options available 以创建更高效​​的流程。