tensorflow gpu 在“windows”上没有 docker 服务

Posted 2023-02-16

【中文标题】tensorflow gpu 在“windows”上没有 docker 服务

【英文标题】：tensorflow gpu serving without docker on "windows"

【发布时间】：2021-10-21 19:50:59

【问题描述】：

我正在尝试在 Windows 10（版本 20H2，OS Build 19042.1165）中提供支持 Nvidia GPU 的 TensorFlow 模型。据我所知，我认为最好的服务方式是使用 Docker 镜像 tensorflow/serving:latest-gpu。但要在 Windows 中执行此操作，我们需要使用 WSL2 安装 nvidia-docker2。但是我的组织不允许我们在 windows Insider 程序中注册，没有它，我无法在 WSL2 中安装 CUDA 工具包。

那么，除了使用 docker 之外，还有其他方法可以为 tf 模型提供“GPU 支持”吗？

【参考方案1】：

看起来唯一的解决方案是从源代码构建，但 Windows 并未正式支持。 如果有人想从源代码构建 tf serving，这里是 link：