KubeFlow 上的 TFServing 和 KFServing 有啥不同

Posted 2023-03-29

【中文标题】KubeFlow 上的 TFServing 和 KFServing 有啥不同

【英文标题】：What's different between TFServing and KFServing on KubeFlowKubeFlow 上的 TFServing 和 KFServing 有什么不同

【发布时间】：2020-07-15 10:03:46

【问题描述】：

TFServin 和 KFServing 都将模型部署在 Kubeflow 上，让用户轻松将模型作为服务使用，无需了解 Kubernetes 的细节，隐藏底层。

TFServing 来自 TensorFlow，它也可以在 Kubeflow 上运行或独立运行。 TFserving on kubeflow

KFServing 来自 Kubeflow，可支持 PyTorch、TensorFlow、MXNet 等多种框架KFServing

我的问题是这两个项目之间的主要区别是什么。

如果我想在生产中启动我的模型，我应该使用哪个？哪个性能更好？

【参考方案1】：

KFServing 是推理之上的抽象而非替代。它旨在简化部署并使推理客户端与推理服务器在幕后所做的实际工作无关（无论是 TF Serving、Triton（以前称为 TRT-IS）、Seldon 等）。它通过在推理数据平面规范上寻求推理服务器供应商之间的协议来实现这一点，该规范允许额外的组件（例如转换和解释器）更具可插拔性。

【讨论】：

感谢您的回答，这对我来说很有意义。所以我可以说 KFserving 是建立在 TFserving 之上的