深度学习环境配置详细教程(资源已上传)

Posted 胖墩会武术

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习环境配置详细教程(资源已上传)相关的知识,希望对你有一定的参考价值。

文章目录

一、推荐系列

1.1、大神视频详细讲解

b站最全最简洁易学的深度学习环境配置教程:Anaconda + Pycharm + CUDA + CUdnn + PyTorch + Tensorflow

1.2、最全最简易的保姆教程

最全最简易的保姆教程:深度学习环境配置 Anaconda+Pycharm+CUDA+cuDNN+TensorFlow+PyTorch

1.3、百度网盘资源

百度网盘链接:https://pan.baidu.com/s/1GK9YZIk9C_Atk70-QCTCDQ?pwd=9sfh
提取码:9sfh

整套资源已上传,按需求下载(版本对应)。环境配置如下:

二、环境配置

详细安装如下:
(1)【CPU版本】Anaconda(Python) + Pycharm + Pytorch(CPU) + Opencv
(2)【GPU版本】Anaconda(Python) + Pycharm + CUDA + cuDNN + Pytorch(GPU) + Opencv

2.0、查看已安装软件的版本号

查看已安装软件版本号DOS命令提示符窗口中查看说明
Python版本号WIN +R + cmd + 运行 + python若未安装将提示:‘python’ 不是内部或外部命令,也不是可运行的程序或批处理文件。
Anaconda版本号WIN +R + cmd + 运行 + conda -V若未安装将提示:‘conda’ 不是内部或外部命令,也不是可运行的程序或批处理文件。
CUDA版本号WIN +R + cmd + 运行 + nvcc -V若未安装将提示:‘nvcc’ 不是内部或外部命令,也不是可运行的程序或批处理文件。
Pytorch版本号WIN +R + cmd + 运行 + 【python + import torch + torch.__version__】若未安装将提示:ModuleNotFoundError:No module named ‘torch’
查看CUDA安装路径WIN +R + cmd + 运行 + set cuda
输入exit(),回到DOS命令中DOS命令中,输入pip list,查看安装的所有软件常用DOS命令

2.1、Anaconda安装

  • Anaconda(中文名大蟒蛇),是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。
  • conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换。

Anaconda官网下载:Anaconda | The World’s Most Popular Data Science Platform
若官网登不上,可以登陆清华大学开源软件镜像站下载。

(1)下载详细过程点击Get Additional Installers - 下载电脑对应的版本。

(2)安装详细过程Next - I Agree - Next(Just me)- Browse(建议不要安装到C盘) - 两个都勾选(表示将环境变量自动添加到系统变量中) - Install - Next - Next - Finish(都不勾选)。

(3)查看是否安装成功WIN +R + cmd + 运行 + conda -V 或 python。(1)若弹出conda版本号时,说明安装成功。(2)若弹出python版本号及其他信息,说明安装成功。(3)若未安装成功,将提示:‘conda’ 不是内部或外部命令,也不是可运行的程序或批处理文件。


2.2、Pycharm安装

Pycharm官网下载:PyCharm:JetBrains为专业开发者提供的Python IDE

(1)下载详细过程:下载 - 选择Community版本(免费)直接下载。
提供两个两个版本:Professional(专业版,收费)和Community(社区版,免费)。
(2)安装详细过程:Browse(建议不要安装到C盘) - 全部勾选 - Install - 选择待会重启。

(3)创建项目的环境配置打开软件 + File - Settings - Python:pythonProject - Python Interpreter(解释器) - 选择Python.exe的安装目录。
详细步骤如下:PyCharm下载安装教程 + 创建项目的环境配置


2.3、CUDA安装

  • CUDA(Compute Unified Device Architecture),是NVIDIA推出的运算平台,是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。
  • CUDA Toolkit:为创建高性能gpu加速应用程序提供了开发环境。
    (1)可以在gpu加速的嵌入式系统、桌面工作站、企业数据中心、基于云的平台和HPC超级计算机上,进行开发、优化和部署应用程序。
    (2)包括gpu加速库、调试和优化工具、C/ c++编译器和用于部署应用程序的运行时库。
    (3)利用内置的跨多GPU配置分布计算的功能,科学家和研究人员可以开发从单个GPU工作站扩展到具有数千个GPU的云安装的应用程序。

GPU需要与CUDA结合,才能完成模型训练、PyTorch安装等等。若没有CUDA,GPU在深度学习中就是个摆设。GPU推理速度是CPU的几十倍。


2.3.1、查看电脑显卡、电脑支持的最高CUDA版本

  • (1)查看电脑显卡:点击电脑菜单 + 鼠标右键 + 设备管理器 + 显示设备器 = NVIDIA显卡型号
  • (2)显卡驱动更新到最新版本。否则可能导致安装的CUDA其他配置环境会有版本不支持,不匹配等问题。显卡更新去NVIDIA官网下载,建议不要使用驱动精灵或者360驱动大师等更新,容易出各种问题。详细下载教程
  • (3)查看电脑支持的最高CUDA版本:WIN +R + cmd + 运行 + nvidia-smi
  • 11、若提示:‘nvidia-smi’ 不是内部或外部命令,也不是可运行的程序或批处理文件。 原因:NVIDIA驱动没有添加到系统环境路径中。
  • 22、详细过程如下:我的电脑 + 鼠标右键 + 属性 + 高级系统设置 + 环境变量 + 系统变量 + Path + C:\\Program Files\\NVIDIA Corporation\\NVSMI
  • 33、重复步骤显示如下:
表格参数详解说明(从左到右、从上到下)nvidia-smi命令详解和一些高阶技巧讲解
NVIDIA-SMINVIDIA-SMI版本号
Driver Version显卡驱动版本号
CUDA Version当前显卡的最高支持版本号(CUDA是向下兼容的,所以最高支持的CUDA版本及以下都是支持的)
GPU本机中的GPU编号(有多块显卡的时候,从0开始编号)
Fan风扇转速(0%-100%),N/A表示没有风扇
NameGPU类型(图上GPU的类型是:NVIDIA)
TempGPU温度(GPU温度过高会导致GPU的频率下降)
PerfGPU性能状态(从P0(最大性能)到P12(最小性能))
Persistence-M持续模式状态(持续模式虽然耗能大,但在新的GPU应用启动时花费的时间更少)
PwrUsager/Cap:能耗表示(其中:Usage表示用了多少,Cap表示总共多少。)
Bus-IdGPU总线相关显示
Disp.AGPU的显示是否初始化(全称Display Active )
Memory-Usage显存使用率
Volatile GPU-UtilGPU使用率
Uncorr. ECC是否针对ECC开启错误检查和纠正技术(0/disabled,1/enabled)
Compute M计算模式(0/DEFAULT、1/EXCLUSIVE_PROCESS、2/PROHIBITED)
Processes显示当前进程占用的显存使用率、进程号、占用的哪个GPU

2.3.2、CUDA下载与安装

CUDA官网下载:CUDA Toolkit Archive | NVIDIA Developer

(1)下载详细过程:请参考本机的显卡驱动以及电脑最高支持的CUDA版本,选择对应的版本。(版本不宜太高,否则将导致其他配置环境没有对应的版本。)

(2)安装详细过程:

CUDA安装前必读的两个问题

  • BUG1若本机安装过CUDA,则只需要保留三个NVIDIA插件:NVIDIA GeForce Experience、NVIDIA PhysX 系统软件、NVIDIA 图形驱动程序。其余全部卸载干净,否则可能会导致安装失败。
  • BUG2:选择驱动程序组件时
    (1)若本机未安装VS,默认全部勾选。
    (2)若本机已安装VS,则系统会自动核实VS与CUDA版本是否匹配,若不匹配系统会循环让你确认而导致无法安装。通过直接卸载VS,且不勾选CUDA组件下的VS,可正常安装。
    此时会提示你没有VS将导致部分功能无法使用,无需理会。

CUDA安装详细教程


2.4、cuDNN安装

  • cuDNN(CUDA深度神经网络库):是经 GPU 加速的深度神经网络基本库。cuDNN为向前和向后卷积、池化、规范化和激活层等标准例程提供了高度调优的实现。
  • 全球深度学习研究人员和框架开发人员依靠cuDNN实现高性能GPU加速。这使得他们可以专注于训练神经网络和开发软件应用程序,而不是花时间在低水平的GPU性能调优上。cuDNN加速了广泛使用的深度学习框架,包括Caffe2、Chainer、Keras、MATLAB、MxNet、PaddlePaddle、PyTorch和TensorFlow。

cuDNN官网下载:CUDA Deep Neural Network (cuDNN) | NVIDIA Developer

(1)下载详细过程注册NVIDIA账号 + 选择与CUDA相对应的cuDNN版本。

(2)安装详细过程> 查看CUDA安装路径WIN +R + cmd + 运行 + set cuda

2.5、Pytorch安装

PyTorch:是一个能在CPU和GPU上运行并解决各类深度学习问题的深度学习框架。可以将其看作是支持GPU计算和自动微分计算的Numpy库。

(1)若选择创建新的conda虚拟环境,可以实现Pycharm在多个环境下的切换。
(2)当然也可以选择不新建,直接安装:pip install。
备注:在安装过程中,可能会提示pip需要升级。

2.5.1、创建新的conda虚拟环境(需联网)

  • 依据:Anaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换。
  • 作用:在Anaconda Prompt下,创建新的conda虚拟环境,可以在Pycharm下,实现多个环境的切换。比如:不同Python版本、不同Pytorch版本。

Pytorch环境搭建详细教程(Anaconda+Pycharm)

  • 点击开始菜单,进入Anaconda Prompt命令行
  • 默认进入 base 虚拟环境,退出 base 环境:conda deactivate
  • 创建一个名为pytorch_env,python版本为3.9的虚拟环境:conda create --name pytorch_env python=3.9。弹出提示,输入 y,即可安装。
  • 激活并进入新环境:conda activate pytorch_env。左边的 base 变成了 pytorch,代表成功进入 pytorch_env 环境。
  • 安装命令:pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu113/torch_stable.html
  • 验证Pytorch是否安装成功:
    python
    import torch
    torch.__version__

2.5.2、pip升级(在线与离线)

报错信息内容:WARNING: There was an error checking the latest version of pip.
报错内容翻译:警告:检查最新版本的pip时出错。
报错原因分析:需要升级pip版本,才可以安装其他模块。

  • 第一种:pip在线升级
    dos命令提示符窗口中输入:python -m pip install --upgrade pip
  • 第二种:pip离线升级(.whl)
    11、Python官网轮子下载:https://pypi.org/project/pip/#files
    22、将安装包存放到python.exe的目录下,并且通过dos命令窗口cd跳转到python.exe目录下。
    33、dos命令提示符窗口中输入:python -m pip install --upgrade xxx.whl
    44、系统会先卸载原版本,再安装新版本,最终显示安装成功。

2.5.3、Pytorch安装(在线与离线)

第一种:Pytorch在线安装
 
Pytorch官网下载:An open source machine learning framework that accelerates the path from research prototyping to production deployment.
 
(1)详细下载过程在官网中,找到与本机对应的CUDA版本,选中+右击+复制。

(2)详细安装过程
若需要新建虚拟环境,可参考上述操作。也可以选择直接在当前环境下安装:

  • dos命令提示符窗口中输入:pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu113/torch_stable.html

第二种:Pytorch离线安装Pytorch离线安装详细教程
 
Pytorch离线下载:(CPU / GPU)torch、torchaudio、torchvision的轮子下载
11、torch:是一个开源的Python深度学习框架。
22、torchaudio:主要加载 wav 和 mp3 格式的音频文件,获取原始信号。
33、tochvision:主要处理图像数据,包含一些常用的数据集、模型、转换函数等。
 
(1)需要分别下载(torch、torchaudio、torchvision)
参数讲解:cu111/torch-1.9.1%2Bcu111-cp39-cp39-win_amd64.whl

  • cu111:表示GPU版Pytorch,且CUDA版本11.1。
  • torch-1.9.1:表示torch版本1.9.1。
  • %2B:表示beta版本,与正式版一样。
  • cp39:表示python3.9版本。
  • win_amd64:表示适配的操作系统。

备注1:找到本机的CUDA版本,选择对应的Pytorch版本; 否则将提示当前轮子在该平台不支持。
备注2:torch、torchaudio、torchvision版本必须一致; 否则将提示当前轮子在该平台不支持。查看版本对应关系

(2)需要分别安装(torch、torchaudio、torchvision)
若需要新建虚拟环境,可参考上述操作。也可以选择直接在当前环境下安装:

  • 11、dos命令提示符窗口中,cd定位到下载地址。
  • 22、依次安装:
    pip install torch-xxx.whl
    pip install torchvison-xxx.whl
    pip install torchaudio-xxx.whl

2.6、Opencv安装

注意 opencv_pythonopencv_contrib-python 的版本一致

卸载老版本

  • dos命令提示符窗口中,依次安装:
    pip uninstall opencv-python==4.1.2.30
    pip uninstall opencv-contrib-python==4.1.2.30

第一种:在线安装

  • dos命令提示符窗口中,依次安装:
    pip install opencv-python== 3.4.2.16
    pip install opencv-contrib-python==3.4.2.16

第二种:离线安装(.whl)
(1)下载详细教程
Opencv-python下载地址:Links for opencv-python
opencv-contrib-python下载地址:Links for opencv-contrib-python

(2)详细安装教程

  • 11、dos命令提示符窗口中,cd定位到下载地址。
  • 22、依次安装:
    pip install opencv_python-4.5.4.60-cp39-cp39-win_amd64.whl
    pip install opencv_contrib_python-4.5.4.60-cp39-cp39-win_amd64.whl

2.7、Visual Studio安装

官网下载:Visual Studio:适用于 Windows 上 .NET 和 C++ 开发人员的最佳综合 IDE。

下载和安装详细教程:VS2019安装和使用教程(详细)

2.8、Python开源常用扩展包

Python开源常用扩展包下载地址:Archived: Unofficial Windows Binaries for Python Extension Packages

快速搜索文件:ctrl + F + 想要下载的文件名

下载后安装

  • 11、dos命令提示符窗口中,cd定位到下载地址。
  • 22、开始安装:
    pip install numpy‑1.22.4+mkl‑cp39‑cp39‑win_amd64.whl

以上是关于深度学习环境配置详细教程(资源已上传)的主要内容,如果未能解决你的问题,请参考以下文章

最详细教程labview深度学习工业缺陷检测

《动手学深度学习》环境搭建全程详细教程 window用户

你期待已久的《动手学深度学习》(PyTorch版)来啦!

深度学习|计算机视觉 环境配置-数据集制作-模型训练 一站式教程(Ubuntu系统)//

折腾深度学习——用Anaconda配置Python开发环境(Windows)保姆级教程

从零到一保姆级Ubuntu深度学习服务器环境配置教程