深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置

Posted 2022-09-21 Bubbliiiing

深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置

• 注意事项
• • 一、2022/9/18更新
• 学习前言
• 各个版本pytorch的配置教程
• 环境内容
• 环境配置
• • 一、Anaconda安装
  • • 1、Anaconda的下载
    • 2、Anaconda的安装
  • 二、Cudnn和CUDA的下载和安装
  • • 1、Cudnn和CUDA的下载
    • 2、Cudnn和CUDA的安装
    • • a、CUDA的安装
      • b、Cudnn的安装
  • 三、配置pytorch-gpu环境
  • • 1、pytorch-gpu环境的创建与激活
    • 2、pytorch-gpu库的安装
    • 3、其它依赖库的安装
    • 4、安装较慢请注意换源
  • 四、安装VSCODE
  • • 1、VSCODE的下载
    • 2、VSCODE的安装
    • 3、运行环境的指定

注意事项

一、2022/9/18更新

许多粉丝反馈，报TypeError: array() takes 1 positional argument but 2 were given错误，可以修改pillow版本解决。

pip install pillow==8.2.0

如果出现下述错误：

SubProcess ended with return code: 4294967295。

复制ptxas到/usr/local/cuda-11.0/ptxas。下载链接为：
链接：https://pan.baidu.com/s/1dCt3kXAtrObPJhAwxQjDLA
提取码：vyec

学习前言

一直没有制作与Ubuntu相关的环境配置，决定把这个坑给填补上。

各个版本pytorch的配置教程

各个版本pytorch的配置教程如下：
深度学习环境配置10——Ubuntu下的torch==1.7.1环境配置
深度学习环境配置8——（30系显卡）windows下的torch==1.7.1环境配置
深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置
深度学习环境配置2——windows下的torch=1.2.0环境配置

环境内容

pytorch：1.7.1
torchvision：0.8.2

环境配置

一、Anaconda安装

Anaconda的安装主要是为了方便环境管理，可以同时在一个电脑上安装多种环境，不同环境放置不同框架：pytorch、tensorflow、keras可以在不同的环境下安装，只需要使用conda create –n创建新环境即可。

1、Anaconda的下载

如果具有可视化界面的系统，可以直接进入首先登录Anaconda的官网：https://www.anaconda.com/distribution/。直接下载对应安装包就可以。


一般是下载64位的，下载完成后打开。

除此之外，也可以通过wget指令直接在终端中进行下载。具体如图所示。

下载完成后，目录下会出现对应的sh文件。即anaconda的安装文件。

2、Anaconda的安装

首先通过指令将sh文件设置成可执行的。

sudo chmod -R 777 Anaconda3-2022.05-Linux-x86_64.sh

然后利用下列指令执行sh文件。

./Anaconda3-2022.05-Linux-x86_64.sh

执行后就是一堆需要遵守的协议，一般这个时候啊对对对就可以了。

中间有一大串的协议，按空格会跳过的快一些。然后输入yes，否则不会正常安装。

然后选择安装路径，这个同学们根据自己的需求进行安装就可以了，默认会安装在~文件夹下。输入地址，然后点击Enter，Anaconda会开始自动安装。

这一步建议选择yes，conda环境会自动初始化，可以去掉一些繁琐的步骤。

再次打开就有base的环境了。

Anaconda的安装就结束了。

二、Cudnn和CUDA的下载和安装

我这里使用的是torch=1.7.1，官方推荐的Cuda版本是11.0，因此会用到cuda11.0，与cuda11.0对应的cudnn是8.0.5.39。

1、Cudnn和CUDA的下载

网盘下载：
链接：https://pan.baidu.com/s/16abczdUfi5VhLIb-i550ZA
提取码：ylrh

官网下载：
cuda11.0官网的地址是：
cuda11.0官网地址
然后可以通过指令进行下载。

wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda_11.0.2_450.51.05_linux.run

cudnn官网的地址是：
需要大家进去后寻找8.0.5.39。
cudnn官网地址

下载完之后得到这两个文件。

2、Cudnn和CUDA的安装

a、CUDA的安装

之后我们在该文件夹打开终端，利用下述指令开始安装CUDA。

sudo sh cuda_11.0.2_450.51.05_linux.run

因为现在的Ubuntu系统基本上会自动安装显卡驱动了，所以运行后一般会提示显卡驱动已经安装，此时忽略，直接选择Continue进入下一步。然后接受下一步的协议。

因为已经安装显卡驱动了，所以这一步不再选择Driver，之后选择install进行Cuda的安装即可。

安装完成后，还需要将CUDA信息添加到~/.bashrc中，因此我们这样做。使用gedit或者vim打开.bashrc文件。

gedit ~/.bashrc

然后在文件末尾添加上下述代码，此时环境变量已经添加。

export PATH=$PATH:/usr/local/cuda/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64  
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda/lib64

此时CUDA已经安装完毕了，需要进一步安装Cudnn。

b、Cudnn的安装

依然打开终端，使用下述指令解压Cudnn文件。如果是zip文件就使用unzip，如果是tgz文件就使用tar。

unzip cudnn-11.0-linux-x64-v8.0.5.39.zip

tar -xvf cudnn-11.0-linux-x64-v8.0.5.39.tgz

解压完成后需要将cudnn文件夹下的文件复制到到/usr/local/cuda-11.0/lib64/和/usr/local/cuda-11.0/include/中。

进入cudnn文件夹，使用cp命令进行复制。

cp cuda/lib64/* /usr/local/cuda-11.0/lib64/
cp cuda/include/* /usr/local/cuda-11.0/include/

此时cudnn也安装完毕。

三、配置pytorch-gpu环境

1、pytorch-gpu环境的创建与激活

ctrl+alt+T，在命令提示符内输入以下命令：

conda create –n pytorch-gpu python=3.8

conda activate pytorch-gpu

这里一共存在两条指令：
前面一条指令用于创建一个名为pytorch-gpu的环境，该环境的python版本为3.8。
后面一条指令用于激活一个名为pytorch-gpu的环境。

2、pytorch-gpu库的安装

由于我们所有的操作都要在对应环境中进行，所以在进行库的安装前需要先激活环境。

conda activate pytorch-gpu

此时终端的样子为：

然后我们输入下述指令：

# CUDA 11.0
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

安装pytorch-gpu。

3、其它依赖库的安装

但如果想要跑深度学习模型，还有一些其它的依赖库需要安装。具体如下：

scipy==1.7.1
numpy==1.21.2
matplotlib==3.4.3
opencv_python==4.5.3.56
torch==1.7.1
torchvision==0.8.2
tqdm==4.62.2
Pillow==8.3.2
h5py==2.10.0
tensorboard
scikit-learn
Cython

如果想要更便捷的安装可以在桌面或者其它地方创建一个requirements.txt文件，复制上述内容到txt文件中。

使用如下指令安装即可。下述指令中，requirements.txt前方的路径是我将文件放在桌面的路径，各位同学根据自己的电脑修改。

pip install -r ~/requirements.txt

4、安装较慢请注意换源

需要注意的是，如果在pip中下载安装比较慢可以换个源，可以到用户文件夹下，创建一个pip文件夹，然后在pip文件夹里创建一个txt文件。
创建指令如下，提示没有权限则在前面加个sudo：

mkdir ~/pip
gedit ~/pip/pip.conf

修改文件的内容。

[global]
index-url = https://mirrors.aliyun.com/pypi/simple
[install]
trusted-host=mirrors.aliyun.com

全部安装完成之后重启电脑。

四、安装VSCODE

我个人喜欢VSCODE，所以就安装它啦。其它的编辑软件也可以，个人喜好罢了。

1、VSCODE的下载

直接加载VSCODE的官网https://code.visualstudio.com/，点击deb即可下载。

2、VSCODE的安装

下载完成后，打开终端，使用如下指令进行安装。安装完成即可运行。

sudo dpkg -i code_1.69.2-1658162013_amd64.deb

3、运行环境的指定

首先点击插件模块，安装python。

安装完成后重启vscode，此时vscode的左下角或者右下角可以用于选择环境。

点击后选择环境，没有对应解释器的可以点一下右上角的刷新。