如何设置本地模型存储库 - 带有 Minio 的 Tensorrt 推理服务器

Posted 2023-02-16

【中文标题】如何设置本地模型存储库 - 带有 Minio 的 Tensorrt 推理服务器

【英文标题】：How to set local model repository - Tensorrt inference server with Minio

【发布时间】：2019-05-23 14:00:18

【问题描述】：

您好，我想设置 Kubeflow - NVIDIA TensorRT 推理服务器，其存储库位于 MinIO。

我不知道如何更改 gs://inference-server-model-store/tf_model_store 来连接 Minio。

ks init my-inference-server
cd my-inference-server
ks registry add kubeflow https://github.com/kubeflow/kubeflow/tree/master/kubeflow
ks pkg install kubeflow/nvidia-inference-server
ks generate nvidia-inference-server iscomp --name=inference-server --image=nvcr.io/nvidia/tensorrtserver:19.04-py3 --modelRepositoryPath=gs://inference-server-model-store/tf_model_store

【参考方案1】：

Kubeflow 上的 NVIDIA TensorRT 推理文档似乎尚未更新。

在收购 Heptio 后，Ksonnet 将变为 deprecated。因此 Kubeflow 是 移动到Kustomize。

如果您考虑使用 Kustomize，您可以使用 Kubeflow 配置 S3 API，如 here 所述。您应该可以将s3://bucket/object 用于模型。