深度学习环境配置详细教程(资源已上传)
Posted 胖墩会武术
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习环境配置详细教程(资源已上传)相关的知识,希望对你有一定的参考价值。
文章目录
一、推荐系列
1.1、大神视频详细讲解
b站最全最简洁易学的深度学习环境配置教程:Anaconda + Pycharm + CUDA + CUdnn + PyTorch + Tensorflow
1.2、最全最简易的保姆教程
最全最简易的保姆教程:深度学习环境配置 Anaconda+Pycharm+CUDA+cuDNN+TensorFlow+PyTorch
1.3、百度网盘资源
百度网盘链接:https://pan.baidu.com/s/1GK9YZIk9C_Atk70-QCTCDQ?pwd=9sfh
提取码:9sfh
整套资源已上传,按需求下载(版本对应)。环境配置如下:
二、环境配置
详细安装如下:
(1)【CPU版本】Anaconda(Python) + Pycharm + Pytorch(CPU) + Opencv
(2)【GPU版本】Anaconda(Python) + Pycharm + CUDA + cuDNN + Pytorch(GPU) + Opencv
2.0、查看已安装软件的版本号
查看已安装软件版本号 | DOS命令提示符窗口中查看 | 说明 |
---|---|---|
Python版本号 | WIN +R + cmd + 运行 + python | 若未安装将提示:‘python’ 不是内部或外部命令,也不是可运行的程序或批处理文件。 |
Anaconda版本号 | WIN +R + cmd + 运行 + conda -V | 若未安装将提示:‘conda’ 不是内部或外部命令,也不是可运行的程序或批处理文件。 |
CUDA版本号 | WIN +R + cmd + 运行 + nvcc -V | 若未安装将提示:‘nvcc’ 不是内部或外部命令,也不是可运行的程序或批处理文件。 |
Pytorch版本号 | WIN +R + cmd + 运行 + 【python + import torch + torch.__version__】 | 若未安装将提示:ModuleNotFoundError:No module named ‘torch’ |
查看CUDA安装路径 | WIN +R + cmd + 运行 + set cuda | |
输入exit() ,回到DOS命令中 | DOS命令中,输入pip list ,查看安装的所有软件 | 常用DOS命令 |
2.1、Anaconda安装
- Anaconda(中文名大蟒蛇),是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。
- conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换。
Anaconda官网下载:Anaconda | The World’s Most Popular Data Science Platform
若官网登不上,可以登陆清华大学开源软件镜像站下载。
(1)下载详细过程:点击Get Additional Installers - 下载电脑对应的版本。
(2)安装详细过程:Next - I Agree - Next(Just me)- Browse(建议不要安装到C盘) - 两个都勾选(表示将环境变量自动添加到系统变量中) - Install - Next - Next - Finish(都不勾选)。
(3)查看是否安装成功:WIN +R + cmd + 运行 + conda -V 或 python
。(1)若弹出conda版本号时,说明安装成功。(2)若弹出python版本号及其他信息,说明安装成功。(3)若未安装成功,将提示:‘conda’ 不是内部或外部命令,也不是可运行的程序或批处理文件。
2.2、Pycharm安装
Pycharm官网下载:PyCharm:JetBrains为专业开发者提供的Python IDE
(1)下载详细过程:下载 - 选择Community版本(免费)直接下载。
提供两个两个版本:Professional(专业版,收费)和Community(社区版,免费)。
(2)安装详细过程:Browse(建议不要安装到C盘) - 全部勾选 - Install - 选择待会重启。
(3)创建项目的环境配置:打开软件 + File - Settings - Python:pythonProject - Python Interpreter(解释器) - 选择Python.exe的安装目录。
详细步骤如下:PyCharm下载安装教程 + 创建项目的环境配置
2.3、CUDA安装
- CUDA(Compute Unified Device Architecture),是NVIDIA推出的运算平台,是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。
- CUDA Toolkit:为创建高性能gpu加速应用程序提供了开发环境。
(1)可以在gpu加速的嵌入式系统、桌面工作站、企业数据中心、基于云的平台和HPC超级计算机上,进行开发、优化和部署应用程序。
(2)包括gpu加速库、调试和优化工具、C/ c++编译器和用于部署应用程序的运行时库。
(3)利用内置的跨多GPU配置分布计算的功能,科学家和研究人员可以开发从单个GPU工作站扩展到具有数千个GPU的云安装的应用程序。
GPU需要与CUDA结合,才能完成模型训练、PyTorch安装等等。若没有CUDA,GPU在深度学习中就是个摆设。GPU推理速度是CPU的几十倍。
2.3.1、查看电脑显卡、电脑支持的最高CUDA版本
- (1)查看电脑显卡:
点击电脑菜单 + 鼠标右键 + 设备管理器 + 显示设备器 = NVIDIA显卡型号
- (2)显卡驱动更新到最新版本。否则可能导致安装的CUDA其他配置环境会有版本不支持,不匹配等问题。显卡更新去NVIDIA官网下载,建议不要使用驱动精灵或者360驱动大师等更新,容易出各种问题。详细下载教程。
- (3)查看电脑支持的最高CUDA版本:
WIN +R + cmd + 运行 + nvidia-smi
。
- 11、若提示:‘nvidia-smi’ 不是内部或外部命令,也不是可运行的程序或批处理文件。 原因:NVIDIA驱动没有添加到系统环境路径中。
- 22、详细过程如下:
我的电脑 + 鼠标右键 + 属性 + 高级系统设置 + 环境变量 + 系统变量 + Path + C:\\Program Files\\NVIDIA Corporation\\NVSMI
- 33、重复步骤显示如下:
表格参数详解 | 说明(从左到右、从上到下)nvidia-smi命令详解和一些高阶技巧讲解 |
---|---|
NVIDIA-SMI | NVIDIA-SMI版本号 |
Driver Version | 显卡驱动版本号 |
CUDA Version | 当前显卡的最高支持版本号(CUDA是向下兼容的,所以最高支持的CUDA版本及以下都是支持的) |
GPU | 本机中的GPU编号(有多块显卡的时候,从0开始编号) |
Fan | 风扇转速(0%-100%),N/A表示没有风扇 |
Name | GPU类型(图上GPU的类型是:NVIDIA) |
Temp | GPU温度(GPU温度过高会导致GPU的频率下降) |
Perf | GPU性能状态(从P0(最大性能)到P12(最小性能)) |
Persistence-M | 持续模式状态(持续模式虽然耗能大,但在新的GPU应用启动时花费的时间更少) |
Pwr | Usager/Cap:能耗表示(其中:Usage表示用了多少,Cap表示总共多少。) |
Bus-Id | GPU总线相关显示 |
Disp.A | GPU的显示是否初始化(全称Display Active ) |
Memory-Usage | 显存使用率 |
Volatile GPU-Util | GPU使用率 |
Uncorr. ECC | 是否针对ECC开启错误检查和纠正技术(0/disabled,1/enabled) |
Compute M | 计算模式(0/DEFAULT、1/EXCLUSIVE_PROCESS、2/PROHIBITED) |
Processes | 显示当前进程占用的显存使用率、进程号、占用的哪个GPU |
2.3.2、CUDA下载与安装
CUDA官网下载:CUDA Toolkit Archive | NVIDIA Developer
(1)下载详细过程:请参考本机的显卡驱动以及电脑最高支持的CUDA版本,选择对应的版本。(版本不宜太高,否则将导致其他配置环境没有对应的版本。)
(2)安装详细过程:
CUDA安装前必读的两个问题:
- BUG1:若本机安装过CUDA,则只需要保留三个NVIDIA插件:NVIDIA GeForce Experience、NVIDIA PhysX 系统软件、NVIDIA 图形驱动程序。其余全部卸载干净,否则可能会导致安装失败。
- BUG2:选择驱动程序组件时
(1)若本机未安装VS,默认全部勾选。
(2)若本机已安装VS,则系统会自动核实VS与CUDA版本是否匹配,若不匹配系统会循环让你确认而导致无法安装。通过直接卸载VS,且不勾选CUDA组件下的VS,可正常安装。
此时会提示你没有VS将导致部分功能无法使用,无需理会。
2.4、cuDNN安装
- cuDNN(CUDA深度神经网络库):是经 GPU 加速的深度神经网络基本库。cuDNN为向前和向后卷积、池化、规范化和激活层等标准例程提供了高度调优的实现。
- 全球深度学习研究人员和框架开发人员依靠cuDNN实现高性能GPU加速。这使得他们可以专注于训练神经网络和开发软件应用程序,而不是花时间在低水平的GPU性能调优上。cuDNN加速了广泛使用的深度学习框架,包括Caffe2、Chainer、Keras、MATLAB、MxNet、PaddlePaddle、PyTorch和TensorFlow。
cuDNN官网下载:CUDA Deep Neural Network (cuDNN) | NVIDIA Developer
(1)下载详细过程:注册NVIDIA账号 + 选择与CUDA相对应的cuDNN版本。
(2)安装详细过程> 查看CUDA安装路径:WIN +R + cmd + 运行 + set cuda
2.5、Pytorch安装
PyTorch:是一个能在CPU和GPU上运行并解决各类深度学习问题的深度学习框架。可以将其看作是支持GPU计算和自动微分计算的Numpy库。
(1)若选择创建新的conda虚拟环境,可以实现Pycharm在多个环境下的切换。
(2)当然也可以选择不新建,直接安装:pip install。
备注:在安装过程中,可能会提示pip需要升级。
2.5.1、创建新的conda虚拟环境(需联网)
- 依据:Anaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换。
- 作用:在Anaconda Prompt下,创建新的conda虚拟环境,可以在Pycharm下,实现多个环境的切换。比如:不同Python版本、不同Pytorch版本。
Pytorch环境搭建详细教程(Anaconda+Pycharm)
- 点击开始菜单,进入Anaconda Prompt命令行
- 默认进入 base 虚拟环境,退出 base 环境:
conda deactivate
- 创建一个名为pytorch_env,python版本为3.9的虚拟环境:
conda create --name pytorch_env python=3.9
。弹出提示,输入 y,即可安装。- 激活并进入新环境:
conda activate pytorch_env
。左边的 base 变成了 pytorch,代表成功进入 pytorch_env 环境。- 安装命令:
pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu113/torch_stable.html
- 验证Pytorch是否安装成功:
python
import torch
torch.__version__
2.5.2、pip升级(在线与离线)
报错信息内容:
WARNING: There was an error checking the latest version of pip.
报错内容翻译:警告:检查最新版本的pip时出错。
报错原因分析:需要升级pip版本,才可以安装其他模块。
- 第一种:pip在线升级
dos命令提示符窗口中输入:python -m pip install --upgrade pip
- 第二种:pip离线升级(.whl)
11、Python官网轮子下载:https://pypi.org/project/pip/#files
22、将安装包存放到python.exe的目录下,并且通过dos命令窗口cd跳转到python.exe目录下。
33、dos命令提示符窗口中输入:python -m pip install --upgrade xxx.whl
44、系统会先卸载原版本,再安装新版本,最终显示安装成功。
2.5.3、Pytorch安装(在线与离线)
第一种:Pytorch在线安装
Pytorch官网下载:An open source machine learning framework that accelerates the path from research prototyping to production deployment.
(1)详细下载过程:在官网中,找到与本机对应的CUDA版本,选中+右击+复制。
(2)详细安装过程
若需要新建虚拟环境,可参考上述操作。也可以选择直接在当前环境下安装:
- dos命令提示符窗口中输入:
pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu113/torch_stable.html
第二种:Pytorch离线安装 :Pytorch离线安装详细教程
Pytorch离线下载:(CPU / GPU)torch、torchaudio、torchvision的轮子下载
11、torch
:是一个开源的Python深度学习框架。
22、torchaudio
:主要加载 wav 和 mp3 格式的音频文件,获取原始信号。
33、tochvision
:主要处理图像数据,包含一些常用的数据集、模型、转换函数等。
(1)需要分别下载(torch、torchaudio、torchvision)
参数讲解:cu111/torch-1.9.1%2Bcu111-cp39-cp39-win_amd64.whl
cu111
:表示GPU版Pytorch,且CUDA版本11.1。torch-1.9.1
:表示torch版本1.9.1。%2B
:表示beta版本,与正式版一样。cp39
:表示python3.9版本。win_amd64
:表示适配的操作系统。备注1:找到本机的CUDA版本,选择对应的Pytorch版本; 否则将提示当前轮子在该平台不支持。
备注2:torch、torchaudio、torchvision版本必须一致; 否则将提示当前轮子在该平台不支持。查看版本对应关系(2)需要分别安装(torch、torchaudio、torchvision)
若需要新建虚拟环境,可参考上述操作。也可以选择直接在当前环境下安装:
- 11、dos命令提示符窗口中,cd定位到下载地址。
- 22、依次安装:
pip install torch-xxx.whl
pip install torchvison-xxx.whl
pip install torchaudio-xxx.whl
2.6、Opencv安装
注意 opencv_python
和 opencv_contrib-python
的版本一致
卸载老版本
- dos命令提示符窗口中,依次安装:
pip uninstall opencv-python==4.1.2.30
pip uninstall opencv-contrib-python==4.1.2.30
第一种:在线安装
- dos命令提示符窗口中,依次安装:
pip install opencv-python== 3.4.2.16
pip install opencv-contrib-python==3.4.2.16
第二种:离线安装(.whl)
(1)下载详细教程
Opencv-python
下载地址:Links for opencv-python
opencv-contrib-python
下载地址:Links for opencv-contrib-python(2)详细安装教程
- 11、dos命令提示符窗口中,cd定位到下载地址。
- 22、依次安装:
pip install opencv_python-4.5.4.60-cp39-cp39-win_amd64.whl
pip install opencv_contrib_python-4.5.4.60-cp39-cp39-win_amd64.whl
2.7、Visual Studio安装
下载和安装详细教程:VS2019安装和使用教程(详细)
2.8、Python开源常用扩展包
Python开源常用扩展包下载地址:Archived: Unofficial Windows Binaries for Python Extension Packages
快速搜索文件:ctrl + F + 想要下载的文件名
下载后安装
- 11、dos命令提示符窗口中,cd定位到下载地址。
- 22、开始安装:
pip install numpy‑1.22.4+mkl‑cp39‑cp39‑win_amd64.whl
。
以上是关于深度学习环境配置详细教程(资源已上传)的主要内容,如果未能解决你的问题,请参考以下文章
深度学习|计算机视觉 环境配置-数据集制作-模型训练 一站式教程(Ubuntu系统)//