无法使用 rapids.ai 版本 21.08 将 cudf、cupy 和 cuml 安装到 colab 中

Posted 2023-02-16

【中文标题】无法使用 rapids.ai 版本 21.08 将 cudf、cupy 和 cuml 安装到 colab 中

【英文标题】：Not able to install cudf, cupy and cuml into colab with rapids.ai version 21.08

【发布时间】：2021-10-01 14:04:50

【问题描述】：

我正在尝试按照本教程在 google colab pro 上安装 cudf 和 cuml：rapids_cudf.ipynb - Colaboratory

但是在运行下面的代码块之后：

# intall miniconda
!wget -c https://repo.continuum.io/miniconda/Miniconda3-4.5.4-Linux-x86_64.sh
!chmod +x Miniconda3-4.5.4-Linux-x86_64.sh
!bash ./Miniconda3-4.5.4-Linux-x86_64.sh -b -f -p /usr/local

# install RAPIDS packages
!conda install -q -y --prefix /usr/local -c conda-forge \
  -c rapidsai-nightly/label/cuda10.0 -c nvidia/label/cuda10.0 \
  cudf cuml

# set environment vars
import sys, os, shutil
sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'

# copy .so files to current working dir
for fn in ['libcudf.so', 'librmm.so']:
  shutil.copy('/usr/local/lib/'+fn, os.getcwd())

我收到以下错误：

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-3-f6f0b40601c8> in <module>()
     15 # copy .so files to current working dir
     16 for fn in ['libcudf.so', 'librmm.so']:
---> 17   shutil.copy('/usr/local/lib/'+fn, os.getcwd())

1 frames
/usr/lib/python3.7/shutil.py in copyfile(src, dst, follow_symlinks)
    118         os.symlink(os.readlink(src), dst)
    119     else:
--> 120         with open(src, 'rb') as fsrc:
    121             with open(dst, 'wb') as fdst:
    122                 copyfileobj(fsrc, fdst)

FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/lib/libcudf.so'

我有以下 GPU：colab pro 上的 b'Tesla P100-PCIE-16GB'。

运行上面给出的代码块后，python版本为：Python 3.6.5 :: Anaconda, Inc.

这些是其他规格：

# Check Ubuntu Version
!lsb_release -a

输出：

No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 18.04.5 LTS
Release:    18.04
Codename:   bionic

# Check CUDA/cuDNN Version
!nvcc -V && which nvcc

输出：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Mon_Oct_12_20:09:46_PDT_2020
Cuda compilation tools, release 11.1, V11.1.105
Build cuda_11.1.TC455_06.29190527_0
/usr/local/cuda/bin/nvcc

我已经尝试按照***的教程进行操作，但无法安装cudf或cuml。

【参考方案1】：

此文件使用过时的安装代码和不兼容的 CUDA 选项。我一定会要求维护者更新它。请使用在rapids-colab template 中找到的最新代码：https://colab.research.google.com/drive/1TAAi_szMfWqRfHVfjGSqnGVLr_ztzUM9#scrollTo=G_2dancFhf70。

【讨论】：

成功了！谢谢。