如何为多个模型使用 tensorflow 服务

Posted 2023-03-12

【中文标题】如何为多个模型使用 tensorflow 服务

【英文标题】：How can I use tensorflow serving for multiple models

【发布时间】：2018-01-26 16:33:50

【问题描述】：

如何使用多个tensorflow 模型？ 我使用 docker 容器。

model_config_list: 

  config: 
    name: "model1",
    base_path: "/tmp/model",
    model_platform: "tensorflow"
  ,
  config: 
     name: "model2",
     base_path: "/tmp/model2",
     model_platform: "tensorflow"
  

【参考方案1】：

从官方tensorflow servingdocker file构建一个docker镜像

然后在 docker 镜像中。

/usr/local/bin/tensorflow_model_server --port=9000 --model_config_file=/serving/models.conf

这里的/serving/models.conf 与您的文件相似。

【讨论】：

我认为在命令行中不需要model_name，因为它是在每个模型的配置文件中指定的？

是的，你是对的。 （如果使用model_config_file，则忽略--model_name、--model_base_path。）。现已编辑