深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置

Posted Bubbliiiing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置相关的知识,希望对你有一定的参考价值。

深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置

注意事项

一、2022/9/18更新

许多粉丝反馈,报TypeError: array() takes 1 positional argument but 2 were given错误,可以修改pillow版本解决。

pip install pillow==8.2.0

如果出现下述错误:

SubProcess ended with return code: 4294967295

复制ptxas到/usr/local/cuda-11.0/ptxas。下载链接为:
链接:https://pan.baidu.com/s/1dCt3kXAtrObPJhAwxQjDLA
提取码:vyec

学习前言

一直没有制作与Ubuntu相关的环境配置,决定把这个坑给填补上。

各个版本pytorch的配置教程

各个版本pytorch的配置教程如下:
深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置
深度学习环境配置8——(30系显卡)windows下的torch==1.7.1环境配置
深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置
深度学习环境配置2——windows下的torch=1.2.0环境配置

环境内容

pytorch:1.7.1
torchvision:0.8.2

环境配置

一、Anaconda安装

Anaconda的安装主要是为了方便环境管理,可以同时在一个电脑上安装多种环境,不同环境放置不同框架:pytorch、tensorflow、keras可以在不同的环境下安装,只需要使用conda create –n创建新环境即可。

1、Anaconda的下载

如果具有可视化界面的系统,可以直接进入首先登录Anaconda的官网:https://www.anaconda.com/distribution/。直接下载对应安装包就可以。


一般是下载64位的,下载完成后打开。

除此之外,也可以通过wget指令直接在终端中进行下载。具体如图所示。

下载完成后,目录下会出现对应的sh文件。即anaconda的安装文件。

2、Anaconda的安装

首先通过指令将sh文件设置成可执行的。

sudo chmod -R 777 Anaconda3-2022.05-Linux-x86_64.sh


然后利用下列指令执行sh文件。

./Anaconda3-2022.05-Linux-x86_64.sh

执行后就是一堆需要遵守的协议,一般这个时候啊对对对就可以了。


中间有一大串的协议,按空格会跳过的快一些。然后输入yes,否则不会正常安装。


然后选择安装路径,这个同学们根据自己的需求进行安装就可以了,默认会安装在~文件夹下。输入地址,然后点击Enter,Anaconda会开始自动安装。


这一步建议选择yes,conda环境会自动初始化,可以去掉一些繁琐的步骤。


再次打开就有base的环境了。


Anaconda的安装就结束了。

二、Cudnn和CUDA的下载和安装

我这里使用的是torch=1.7.1,官方推荐的Cuda版本是11.0,因此会用到cuda11.0,与cuda11.0对应的cudnn是8.0.5.39。

1、Cudnn和CUDA的下载

网盘下载:
链接:https://pan.baidu.com/s/16abczdUfi5VhLIb-i550ZA
提取码:ylrh

官网下载:
cuda11.0官网的地址是:
cuda11.0官网地址
然后可以通过指令进行下载。

wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda_11.0.2_450.51.05_linux.run

cudnn官网的地址是:
需要大家进去后寻找8.0.5.39。
cudnn官网地址

下载完之后得到这两个文件。

2、Cudnn和CUDA的安装

a、CUDA的安装

之后我们在该文件夹打开终端,利用下述指令开始安装CUDA。

sudo sh cuda_11.0.2_450.51.05_linux.run

因为现在的Ubuntu系统基本上会自动安装显卡驱动了,所以运行后一般会提示显卡驱动已经安装,此时忽略,直接选择Continue进入下一步。然后接受下一步的协议。


因为已经安装显卡驱动了,所以这一步不再选择Driver,之后选择install进行Cuda的安装即可。


安装完成后,还需要将CUDA信息添加到~/.bashrc中,因此我们这样做。使用gedit或者vim打开.bashrc文件。

gedit ~/.bashrc

然后在文件末尾添加上下述代码,此时环境变量已经添加。

export PATH=$PATH:/usr/local/cuda/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64  
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda/lib64

此时CUDA已经安装完毕了,需要进一步安装Cudnn。

b、Cudnn的安装

依然打开终端,使用下述指令解压Cudnn文件。如果是zip文件就使用unzip,如果是tgz文件就使用tar。

unzip cudnn-11.0-linux-x64-v8.0.5.39.zip
tar -xvf cudnn-11.0-linux-x64-v8.0.5.39.tgz

解压完成后需要将cudnn文件夹下的文件复制到到/usr/local/cuda-11.0/lib64/和/usr/local/cuda-11.0/include/中。

进入cudnn文件夹,使用cp命令进行复制。

cp cuda/lib64/* /usr/local/cuda-11.0/lib64/
cp cuda/include/* /usr/local/cuda-11.0/include/


此时cudnn也安装完毕。

三、配置pytorch-gpu环境

1、pytorch-gpu环境的创建与激活

ctrl+alt+T,在命令提示符内输入以下命令:

conda create –n pytorch-gpu python=3.8
conda activate pytorch-gpu

这里一共存在两条指令:
前面一条指令用于创建一个名为pytorch-gpu的环境,该环境的python版本为3.8。
后面一条指令用于激活一个名为pytorch-gpu的环境。

2、pytorch-gpu库的安装

由于我们所有的操作都要在对应环境中进行,所以在进行库的安装前需要先激活环境。

conda activate pytorch-gpu

此时终端的样子为:

然后我们输入下述指令:

# CUDA 11.0
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

安装pytorch-gpu。

3、其它依赖库的安装

但如果想要跑深度学习模型,还有一些其它的依赖库需要安装。具体如下:

scipy==1.7.1
numpy==1.21.2
matplotlib==3.4.3
opencv_python==4.5.3.56
torch==1.7.1
torchvision==0.8.2
tqdm==4.62.2
Pillow==8.3.2
h5py==2.10.0
tensorboard
scikit-learn
Cython

如果想要更便捷的安装可以在桌面或者其它地方创建一个requirements.txt文件,复制上述内容到txt文件中。

使用如下指令安装即可。下述指令中,requirements.txt前方的路径是我将文件放在桌面的路径,各位同学根据自己的电脑修改。

pip install -r ~/requirements.txt

4、安装较慢请注意换源

需要注意的是,如果在pip中下载安装比较慢可以换个源,可以到用户文件夹下,创建一个pip文件夹,然后在pip文件夹里创建一个txt文件。
创建指令如下,提示没有权限则在前面加个sudo:

mkdir ~/pip
gedit ~/pip/pip.conf

修改文件的内容。

[global]
index-url = https://mirrors.aliyun.com/pypi/simple
[install]
trusted-host=mirrors.aliyun.com


全部安装完成之后重启电脑。

四、安装VSCODE

我个人喜欢VSCODE,所以就安装它啦。其它的编辑软件也可以,个人喜好罢了。

1、VSCODE的下载

直接加载VSCODE的官网https://code.visualstudio.com/,点击deb即可下载。

2、VSCODE的安装

下载完成后,打开终端,使用如下指令进行安装。安装完成即可运行。

sudo dpkg -i code_1.69.2-1658162013_amd64.deb

3、运行环境的指定

首先点击插件模块,安装python。

安装完成后重启vscode,此时vscode的左下角或者右下角可以用于选择环境。


点击后选择环境,没有对应解释器的可以点一下右上角的刷新。

以上是关于深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置的主要内容,如果未能解决你的问题,请参考以下文章

深度学习环境配置9——Ubuntu下的tensorflow-gpu==2.4.0环境配置

深度学习主机环境配置: Ubuntu16.04+GeForce GTX 1080+TensorFlow

Torch7在Ubuntu下的安装与配置

深度学习第一步——Pytorch-Gpu环境配置:Win11/Win10+Cuda10.2+cuDNN8.5.0+Pytorch1.8.0(步步巨细,少走十年弯路)

安装 Win10 & Ubuntu 16.04 双系统以及 Ubuntu 配置深度学习环境记录

深度学习环境TensorFlow+Keras搭建