在单个 GPU 上运行两个不同的独立 PyTorch 程序

Posted 2023-04-15

【中文标题】在单个 GPU 上运行两个不同的独立 PyTorch 程序

【英文标题】：Running two different independent PyTorch programs on a single GPU

【发布时间】：2021-03-31 14:49:54

【问题描述】：

我有一个 16GB 内存的 NVIDIA GPU。我必须运行两个不同的（并且是独立的；意思是，两个不同的问题：一个是视觉类型任务，另一个是 NLP 任务）Python 程序。代码使用 PyTorch 编写，两个代码都可以使用 GPU。

我测试了程序 1 大约需要 5GB 的 GPU 内存，其余的都是免费的。如果我运行这两个程序，会影响模型性能还是会导致任何进程冲突？

Linked question; but it does not necessarily mean PyTorch codes

【参考方案1】：

我不知道它是如何工作的细节，但我可以从经验中看出这两个程序运行良好（只要它们在组合时不需要超过 16GB 的 RAM），并且执行时间应该大致保持在一样。

但是，计算机视觉通常需要大量的 IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比​​单独运行两个程序时慢。

【参考方案2】：

它应该可以正常工作。

在我的一个项目中，我在处理多个模型时遇到了 GPU 内存不足的问题。加载它们后，我的模型过去常常占用大部分 GPU 内存。在模型推理期间，用于保留数据的内存非常少。众所周知，如果您的模型加载到 GPU 上，那么您还需要将数据加载到 GPU 上。因此，当您进行批量推理（例如，一次向模型提供 16 个图像）时，完整的批次会加载到 GPU 上。这又需要更多的 GPU 内存。如果你的程序没有获得足够的 GPU 内存，它就会崩溃。

如果您认为 GPU 内存不是您的问题，那么一切都应该正常。您也不必担心冲突，因为两个进程都会分配自己的 GPU 内存并独立工作。不会有性能问题。