在 Colab 中为 torch_sparse 构建***需要很长时间

Posted

技术标签:

【中文标题】在 Colab 中为 torch_sparse 构建***需要很长时间【英文标题】:Building wheels for torch_sparse in Colab takes forever 【发布时间】:2021-07-20 22:01:34 【问题描述】:

我正在尝试在 Google Colab 上运行以下命令: !pip install torch_sparse

起初,它似乎工作正常:

Collecting torch_sparse
  Downloading https://files.pythonhosted.org/packages/9a/86/699eb78ea7ce259da7f9953858ec2a064e4e5f5e6bf7de53aa6c8bb8b9a8/torch_sparse-0.6.9.tar.gz
Requirement already satisfied: scipy in /usr/local/lib/python3.7/dist-packages (from torch_sparse) (1.4.1)
Requirement already satisfied: numpy>=1.13.3 in /usr/local/lib/python3.7/dist-packages (from scipy->torch_sparse) (1.19.5)
Building wheels for collected packages: torch-sparse

但从这里开始,它会一直运行下去,不会输出任何错误消息,而且***永远不会被建造出来。

我的 Colab 环境是托管的并使用 GPU 加速器。我也可以预先安装torch并初始化cuda,但它不会改变任何东西。

【问题讨论】:

【参考方案1】:

安装实际上在 30 分钟到 1 小时后完成(我没有确切的时间)。但是,在尝试导入 torch_sparse 时,我遇到了这里描述的问题:PyTorch Geometric CUDA installation issues on Google Colab

我尝试应用最流行的答案,但由于它似乎已过时,我将其更新为以下内容:

!pip install torch-geometric \
  torch-sparse \
  torch-scatter \
  torch-cluster \
  -f https://pytorch-geometric.com/whl/torch-1.8.0+cu101.html

此安装运行良好,只用了几秒钟。到目前为止,它看起来让我能够从 torch_geometric/torch_sparse 导入我需要的一切。如果我稍后遇到任何问题,我会告诉你!

【讨论】:

【参考方案2】:

为了补充上一个答案,Matthias Fey 建议使用以下方法在 colab 中下载依赖项:

!pip install -q torch-scatter -f https://data.pyg.org/whl/torch-1.9.0+cu111.html
!pip install -q torch-sparse -f https://data.pyg.org/whl/torch-1.9.0+cu111.html
!pip install -q git+https://github.com/pyg-team/pytorch_geometric.git

Colab link 和 Github link 可能会有所帮助。

【讨论】:

【参考方案3】:

为了便于移植,还可以根据可用的 pytorch 版本自动提供相应 url 的路径:

import torch
print(torch.__version__)
!pip install torch-scatter torch-sparse -f https://data.pyg.org/whl/torch-torch.__version__.html

【讨论】:

以上是关于在 Colab 中为 torch_sparse 构建***需要很长时间的主要内容,如果未能解决你的问题,请参考以下文章

设置 TensorBoard 以在 Google Colab 中为 TensorFlow 对象检测模型运行 eval.py 作业

没有 CUDA 的 PyTorch torch_sparse 安装

如何在 Travis CI 中为 C++ 项目并行运行多个构建,每个构建都有单独的脚本?

PyGOD 使用 成功解决 Runtimeerror: No such operator torch_sparse::hetero_neighbor_sample 报错

OSError:[Errno 95] 不支持操作:Google Colab 上的“/content/drive/Mask_RCNN”

帮助在特定模型实例中为用户分配角色的数据库策略