Cupy add 在同一台机器上的不同环境中以不同的方式工作

Posted 2023-02-16

【中文标题】Cupy add 在同一台机器上的不同环境中以不同的方式工作

【英文标题】：cupy add working differently in different environments on same machine

【发布时间】：2020-09-10 10:15:11

【问题描述】：

我开始实现深度学习代码，这是我第一次使用深度学习、GPU 和 Cupy。我做了一个玩具示例，在同一台机器上的不同 python 环境中工作方式不同，我希望详细了解发生这种情况的原因和原因。

这是我的代码

import numpy as np
import cupy as cp

X = 150000
Y = 100
Z = 79

shape_pca_mean = np.random.rand(X, 1)

shape_pca_basis = np.random.rand(X, Y)
shape_pca_basis_gpu = cp.asarray(shape_pca_basis)

shape_params = np.random.rand(Y, 1)
shape_params_gpu = cp.asarray(shape_params)

shape_x = shape_pca_basis_gpu.dot(shape_params_gpu)

exp_pca_basis = np.random.rand(X, Z)
exp_pca_basis_gpu = cp.asarray(exp_pca_basis)

exp_params = np.random.rand(Z, 1)
exp_params_gpu = cp.asarray(exp_params)

exp_x = exp_pca_basis_gpu.dot(exp_params_gpu)

a = shape_pca_mean + cp.asnumpy(exp_x) + cp.asnumpy(shape_x)

我有 2 个 Python 环境。一个全局 python3 和一个本地 virtualenv python 3。它们都安装了相同版本的 NumPy、cupy、cupy-cuda110 和其他 python 库。上面的代码在两个环境中都运行良好。

但是，如果我在下面再添加一行，则 virtualenv python3 运行良好，但如果在全局 Python 上运行，则会出现以下错误。

b = cp.asarray(shape_pca_mean) + exp_x + shape_x

错误

$ python3 scratch.py
Traceback (most recent call last):
  File "scratch.py", line 18, in <module>
    a = cp.asarray(shape_pca_mean) + exp_x + shape_x
  File "cupy/core/core.pyx", line 968, in cupy.core.core.ndarray.__add__
  File "cupy/core/_kernel.pyx", line 951, in cupy.core._kernel.ufunc.__call__
  File "cupy/core/_kernel.pyx", line 974, in cupy.core._kernel.ufunc._get_ufunc_kernel
  File "cupy/core/_kernel.pyx", line 714, in cupy.core._kernel._get_ufunc_kernel
  File "cupy/core/_kernel.pyx", line 61, in cupy.core._kernel._get_simple_elementwise_kernel
  File "cupy/core/carray.pxi", line 196, in cupy.core.core.compile_with_cache
  File "/home/ppinazuredlvm1/.local/lib/python3.6/site-packages/cupy/cuda/compiler.py", line 298, in compile_with_cache
    extra_source, backend)
  File "/home/ppinazuredlvm1/.local/lib/python3.6/site-packages/cupy/cuda/compiler.py", line 352, in _compile_with_cache_cuda
    ls.add_ptr_data(ptx, 'cupy.ptx')
  File "cupy/cuda/function.pyx", line 230, in cupy.cuda.function.LinkState.add_ptr_data
  File "cupy/cuda/function.pyx", line 232, in cupy.cuda.function.LinkState.add_ptr_data
  File "cupy/cuda/driver.pyx", line 198, in cupy.cuda.driver.linkAddData
  File "cupy/cuda/driver.pyx", line 118, in cupy.cuda.driver.check_status
cupy.cuda.driver.CUDADriverError: CUDA_ERROR_INVALID_PTX: a PTX JIT compilation failed

如果有帮助，this cupy issue 中提供了有关我的系统和驱动程序等的更多详细信息。

这看起来不像是通常的驱动程序不兼容问题，好像是这种情况，上面的代码不会在任何环境上运行。

【参考方案1】：

您可能同时安装了 cupy 和 cupy-cudaXXX，这会导致各种奇怪的问题。如果是这样，请移除 cupy 并坚持使用 wheel 版本。