将 Tensorflow 与 GPU 一起使用时出错

Posted 2023-02-23

【中文标题】将 Tensorflow 与 GPU 一起使用时出错

【英文标题】：Error using Tensorflow with GPU

【发布时间】：2016-04-03 12:44:20

【问题描述】：

我尝试了一堆不同的 Tensorflow 示例，它们在 CPU 上运行良好，但当我尝试在 GPU 上运行它们时会产生相同的错误。一个小例子是这样的：

import tensorflow as tf

# Creates a graph.
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
# Runs the op.
print sess.run(c)

错误总是一样的，CUDA_ERROR_OUT_OF_MEMORY：

I tensorflow/stream_executor/dso_loader.cc:101] successfully opened CUDA library libcublas.so.7.0 locally
I tensorflow/stream_executor/dso_loader.cc:101] successfully opened CUDA library libcudnn.so.6.5 locally
I tensorflow/stream_executor/dso_loader.cc:101] successfully opened CUDA library libcufft.so.7.0 locally
I tensorflow/stream_executor/dso_loader.cc:101] successfully opened CUDA library libcuda.so locally
I tensorflow/stream_executor/dso_loader.cc:101] successfully opened CUDA library libcurand.so.7.0 locally
I tensorflow/core/common_runtime/local_device.cc:40] Local device intra op parallelism threads: 24
I tensorflow/core/common_runtime/gpu/gpu_init.cc:103] Found device 0 with properties: 
name: Tesla K80
major: 3 minor: 7 memoryClockRate (GHz) 0.8235
pciBusID 0000:0a:00.0
Total memory: 11.25GiB
Free memory: 105.73MiB
I tensorflow/core/common_runtime/gpu/gpu_init.cc:103] Found device 1 with properties: 
name: Tesla K80
major: 3 minor: 7 memoryClockRate (GHz) 0.8235
pciBusID 0000:0b:00.0
Total memory: 11.25GiB
Free memory: 133.48MiB
I tensorflow/core/common_runtime/gpu/gpu_init.cc:127] DMA: 0 1 
I tensorflow/core/common_runtime/gpu/gpu_init.cc:137] 0:   Y Y 
I tensorflow/core/common_runtime/gpu/gpu_init.cc:137] 1:   Y Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:702] Creating TensorFlow device (/gpu:0) -> (device: 0, name: Tesla K80, pci bus id: 0000:0a:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:702] Creating TensorFlow device (/gpu:1) -> (device: 1, name: Tesla K80, pci bus id: 0000:0b:00.0)
I tensorflow/core/common_runtime/gpu/gpu_bfc_allocator.cc:42] Allocating 105.48MiB bytes.
E tensorflow/stream_executor/cuda/cuda_driver.cc:932] failed to allocate 105.48M (110608384 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY
F tensorflow/core/common_runtime/gpu/gpu_bfc_allocator.cc:47] Check failed: gpu_mem != nullptr  Could not allocate GPU device memory for device 0. Tried to allocate 105.48MiB
Aborted (core dumped)

我猜这个问题与我的配置有关，而不是这个小例子的内存使用情况。有人有什么主意吗？

编辑：

我发现问题可能与其他人在同一 GPU 上运行作业一样简单，这可以解释可用内存量很少的原因。在这种情况下：抱歉占用您的时间...

【问题讨论】：

我遇到了类似的问题，根本原因是 jupyter notebook 在后台运行。关闭笔记本解决了我的问题。

【参考方案1】：

这可能是因为您的 TensorFlow 会话无法在 GPU 中获得足够的内存量。也许您的 TensorFlow 等其他进程的可用内存量很少，或者您的系统中正在运行另一个 TensorFlow 会话。所以你必须配置 TensorFlow 会话将使用的内存量

如果您使用的是 TensorFlow 1.x

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)

sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

由于 TensorFlow 2.x 与 1.x 相比发生了重大变化。如果您想使用 TensorFlow 1.x 版本的方法/功能，TensorFlow 2.x 中保留了一个兼容性模块。所以 TensorFlow 2.x 用户可以使用这段代码

gpu_options = tf.compat.v1.GPUOptions(per_process_gpu_memory_fraction=0.333)

sess = tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(gpu_options=gpu_options))

【参考方案2】：

这里似乎有两个问题：

默认情况下，当您创建 tf.Session 时，TensorFlow 会分配大部分 (95%) 的可用 GPU 内存（在每个 GPU 设备上）。它使用heuristic 为“系统”使用保留 200MB 的 GPU 内存，但如果可用内存量为smaller than that，则不会将其放在一边。

看起来您的任一 GPU 设备（105.73MiB 和 133.48MiB）上的可用 GPU 内存都很少。这意味着 TensorFlow 将尝试分配可能应该为系统保留的内存，因此分配失败。

在您尝试运行此程序时，是否有可能正在运行另一个 TensorFlow 进程（或其他一些需要 GPU 的代码）？例如，具有打开会话的 Python 解释器（即使它没有使用 GPU）也会尝试分配几乎整个 GPU 内存。

目前，限制 TensorFlow 使用的 GPU 内存量的唯一方法是以下配置选项（来自 this question）：

# Assume that you have 12GB of GPU memory and want to allocate ~4GB:
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)

sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))