历经万难,终于搭好深度学习环境[吐血总结篇,造福后人]

Posted 一支王同学

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了历经万难,终于搭好深度学习环境[吐血总结篇,造福后人]相关的知识,希望对你有一定的参考价值。


⌛️

● 我的电脑配置如下:Win103060

● 接下来我们要干的事情:

配置的清单列表简单说明
Anaconda3-2021.11-Windows-x86_64只需 5 分钟不到
PyCharm Community Edition 2021.3(python编译器)只需 5 分钟不到
GPU驱动(即497.09-notebook-win10-win11-64bit-international-dch-whql,NVIDIA,英伟达)只需 10 分钟不到
cuda_11.3.0_465.89_win10> 30 分钟
cudnn-11.3-windows-x64-v8.2.0.53> 20 分钟
pytorch_1.10.0> 20 分钟


☁️


零、写在前面

● 这一路,我踩了巨…多的坑,终于…配置好了。多少个漆黑的夜晚,想吃电脑的冲动…

● 所有流程大概需要 3 个小时【前提是你的网速倍儿棒,顶多也就半天】,我配置了将近 3 天。

● 趁我还记得,就花了大概 5 个小时详细地写了这篇随笔。



一、腾出 C 盘

为什么要腾出 C 盘?因为在后面,安装驱动CUDA时,我采用的时推荐安装如果采用另外一个选项(即自定义安装),一不小心就有可能少安装什么,导致前功尽弃。

● 我在这里给大家看一下,安装驱动CUDA的界面吧,这样子的:



● 所以我们先腾出 C 盘。如果你的 C 盘够大,那可以直接跳过这一步骤。而如果你的 C 盘只有 20G 不到(或者已经爆红了),建议扩容一下。而且学一招 扩容 C 盘,终身有益


1.1 下载分区助手

● 这里我推荐一款分区助手——傲梅分区助手,我也用的这个,挺好用的。

官网下载链接https://guanjia.qq.com/sem/944/index.html?ADTAG=media.buy.baidu.SEM.

说明:点击普通下载即可。


● 下载完后,会得到一个PACNPro_8.3.0.0的安装包(版本可能有所不同),双击,下一步下一步即可(安装位置可以自己选)。最后需要手机微信扫扫二维码,关注一下,领取激活码,就可以免费使用了。


1.2 使用分区助手

它的使用界面如下


● 对于上图的说明:可能大家还没发现,我没有 D 盘,那是因为,我想,我这台电脑主要就是来跑敲代码、跑深度学习的,所以把 D 盘合并给 C 盘了,一劳永逸。(因为,我以前感觉不管下点什么编程软件,明明我把所有安装路径设置在 D 盘或者其他盘,最后 C 盘还是会涨。所以干脆把 C 盘弄大一点,全部配置放在 C 盘)

注意:只要我们没有点左上角那个 “提交” ,我们在这个分区助手界面做的所有操作都没事。


调整 、创建 、合并 、删除 “分区” 的视频演示图如下:【大家可以多多尝试】

● 最后记得点一下左上角的提交即可,接下来就会重启主机,进入以下界面:


● 最后等待分区完即可。



二、安装 Anaconda、Pycharm、Python

● 首先,我们了解一下Python,Anaconda,Pycharm的区别

  ① Python是个解释器(基本的编译环境)。

  ② Anaconda是一个python的发行版,包括了python和很多常见的软件库,和一个包管理器conda。常见的科学计算类的库都包含在里面了,使得安装比常规python安装要容易【所以装了anaconda就不需要装python了】。可以大致这样理解:python是 农贸市场里一个小型批发商卖的最简单最基本的做饭三件套——刀、锅、火,而anaconda是农贸市场里一个大型批发商卖的一整套做饭工具(它不仅包含了基础的做饭三件套,还包含了什么磨刀石、菜板、刷锅钢丝球等,主要是用来帮助和管理做饭三件套的)

  ③ pycharm是为Python编程语言专门打造的一款IDE(集成开发环境)。可以大致这样理解:刚刚说了,python 相当于厨房里做饭三件套, Anaconda相当于厨房做饭 X 件套,而 pycharm 是整个厨房——它就把 “所有的工具+自来水天然气” 融入进来了,而且是图形化界面有序排放、不同关键字颜色展示不同,这就很方便我们编写代码(做饭)。


2.1 安装 Anaconda3

我安装的是最新版的Anaconda,官方下载地址https://www.anaconda.com/products/individual.

官方下载界面:


安装步骤,动图展示:

注意:因为我已经在 C 盘已经安装过了,所以便随便在 F 盘找了一个文件夹进行演示。【注意:路径一定要是全英文】


2.2 安装 Pycharm

我安装的也是最新版的Anaconda,官方下载地址: https://www.jetbrains.com/pycharm/download/#section=windows.

官方下载界面:



安装步骤,动图展示:

注意:在安装的第二个界面和你们是不同的,因为我已经安装过了,所以它提示我问我是否卸载。


2.3 安装 Python3.8

● 虽然python的最新版已经有3.9以上的了,但我看大部分网上的安装流程都是3.8的,更定定一点,所以我也选择3.8

● 首先,我门打开Anaconda Prompt(类似于 CMD 命令行窗口):

● 打开的界面后,我们要输入如下命令来安装 python3.8

conda create -n master python=3.8

说明master这个文件夹的名字可以自己取。命令执行完后,在这个目录下就会自动生成相应的文件,文件里面就有python3.8编译器的各项配置。(我们就不用到官网去下python了。以后让用用新版本的python,重新建个目录再配置一下既可以了,很方便)



三、安装 GPU驱动、CUDA、cudnn

● 同样地,我们来了解一下GPU驱动、CUDA、cudnn

驱动(程序):驱动程序一般指的是设备驱动程序(Device Driver),是一种可以使计算机和设备进行相互通信的特殊程序。没有显卡驱动,就不能识别 GPU 硬件,不能调用其计算资源。

CUDA:是 Nvidia 推出的只能用于自家 GPU 的并行计算框架。只有安装这个框架才能够进行复杂的并行计算。主流的深度学习框架也都是基于 CUDA 进行 GPU 并行加速的。

cudnn:针对深度卷积神经网络的加速库。


3.1 安装 GPU驱动

NVIDIA驱动程序官方下载地址: https://www.nvidia.cn/Download/index.aspx?lang=cn.

官方下载界面


安装步骤,动图展示


说明:中间有一段我暂停了,直接跳到最后的界面。然后,因为我已经安装过了,所以打开任务管理器把它掐掉了,大家直接安装到最后即可。


3.2 安装 CUDA

NVIDIA——CUDA官方下载地址: https://developer.nvidia.com/cuda-toolkit-archive.

官方下载界面:【可能很久这个页面也打不开,需要耐心等待一下】

说明:点一下右边的“CUDA Toolkit 11.3.0” ,进入相应的配置界面如下:

说明:这个 cuda 东西有点大,2.7G,在这上面下载可能有点慢,我推荐用迅雷来下。


动态演示如下



CUDA安装步骤,动图展示

说明:录屏中间有一段我也暂停了,直接跳到最后的界面。


3.3 配置 cudnn库

NVIDIA——cudnn官方下载地址: https://developer.nvidia.com/rdp/cudnn-archive.

官方下载界面:【可能这个页面也需要一定的时间打开,需要耐心等待一下】

说明:接着再点一下延展出来的的“cuDNN Library for Windows(X86)” 即可,也可以使用同样的方法,迅雷下载:


cudnn库的配置步骤,动图展示


说明:下载好后,解压会得到cuda这个文件夹,然后我们要分别把该文件夹里面的binincludelib里面的所有东西复制到相应CUDA对应的三个同名文件夹里面去(就是我们 3.2 步安装的东西)。【如果询问你是否替换,直接替换即可】




四、安装 Pytorch

Pytorch是一个基于Python的可续计算包,提供两个高级功能:1、具有强大的 GPU 加速的张量计算(如NumPy)。2、包含自动求导系统的深度神经网络。它是一个以Python优先的深度学习框架,不仅能够实现强大的 GPU 加速,同时还支持动态神经网络。

Pytorch官方下载地址: https://pytorch.org/get-started/locally/.

官方下载界面

说明:选Windows系统,我先前用的是AnacondaConda(一个开源的软件包管理系统和环境管理系统,我感觉它有点像资源管理器),下的也是最新版本11.3CUDA,所以这样选。

● 然后只要我们再次打开 2.3 步骤提到的Anaconda Prompt,然后输入下面的命令来激活master环境(先前已经装了python3.8的):

activate master

● 然后再输入下面的命令即可开始安装pytorch。但是…慢着…这种方式巨慢!

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch


● 如果在安装过程中出现“CondaVerificationError” 等问题,直接输入“conda clean --all”,把之前安装包的缓冲清理掉【不然它们会导致安装包不能正常安装】

● 这里我提供一个快速下载的方法:使用清华源的镜像,这需要在输入activate master后再输入以下命令:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

● 最后,再输入下面的命令(即将其官网上复制的链接后面的-c pytorch去掉即可开始安装pytorch

conda install pytorch torchvision torchaudio cudatoolkit=11.3

科普一下:最后的-c代表的是channelspytorch官网下载,所以导致速度慢,而从国内镜像源中寻找我们需要的pytorch包,例如清华源,下载就很很快。


简单展示一下其界面:

注意:因为我已经配置过清华源、pytorch这些,所以它会提示我这些东西。大家按照上面的步骤走一定没错。



五、最终测试

创建新项目,动态演示图如下:

说明:
  ① 项目放置的路径随便选,我选的实在 E 盘里面。
  ② 解释器(Interpreter)要选我们先前用conda安装了的master环境下的python
  ③ 因为我是用的推荐安装,所以路径如上,如果大家没有安装在 C 盘,就需要去anaconda相应的文件夹里面去找。


创建一个pyhton文件:【随便取一个名字,最后回车一下即可】

对该pyhton文件进行环境检查:【看看我们pytorch是否配置成功】


说明:可以看见,pytorch1.10.0已经配置好了的。


最终测试:【在代码框输入以下代码并运行】

import torch
print(torch.cuda.is_ava
ilable())

运行结果:【如果是Ture,那么恭喜你!!!大功告成!!!!】



六、参考附录

[1] pytorch+anaconda+CUDA+cudnn保姆式安装教程
链接: https://www.bilibili.com/video/BV1764y1X7va.

[2] 安装PyTorch GPU/CPU 两种方法,各种版本,稳稳的!
链接: https://www.bilibili.com/video/BV1FN411o7Ep.

[3] pytorch下载太慢怎么办?
链接: https://www.zhihu.com/question/435340249.

[4] 小白操作Win10扩充C盘(把D盘内存分给C盘)亲测多次有效
链接: https://blog.csdn.net/qq_41253960/article/details/111563342.


⭐️ ⭐️

小王同学     
2021/12/11     

以上是关于历经万难,终于搭好深度学习环境[吐血总结篇,造福后人]的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop学习笔记:WordCount程序的实现与总结

吐血分享:QQ群霸屏技术教程2017(活跃篇)

吐血整理!基于 Flask 部署 Keras 深度学习模型

Linux 搭建深度学习环境教程

吐血整理深度学习入门路线及导航教学视频+大神博客+书籍整理+资源页(2019年已经最后一个月了,你还不学深度学习吗???)

吐血整理深度学习入门路线及导航教学视频+大神博客+书籍整理+资源页(2019年已经最后一个月了,你还不学深度学习吗???)