(d2l-ai/d2l-zh)《动手学深度学习》pytorch 笔记(序言pytorch的安装神经网络涉及符号)

Posted Dontla

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了(d2l-ai/d2l-zh)《动手学深度学习》pytorch 笔记(序言pytorch的安装神经网络涉及符号)相关的知识,希望对你有一定的参考价值。

开源项目地址:d2l-ai/d2l-zh

教材官网:https://zh.d2l.ai/

书介绍:https://zh-v2.d2l.ai/

笔记基于2021年7月26日发布的版本,书及代码下载地址在github网页的最下面

交流者论坛

额外:
https://distill.pub/

序言(19)

应⽤深度学习需要同时了解(20)

(1)以特定⽅式提出问题的动机;
(2)给定建模⽅法的数学;
(3)将模型拟合数据的优化算
法;
(4)能够有效训练模型、克服数值计算缺陷并最⼤限度地利⽤现有硬件的⼯程⽅法。同时教授表述问题所需的批判性思维技能、解决问题所需的数学知识,以及实现这些解决⽅案所需的软件⼯具;

本书结构(22)


1、介绍
2、准备工作
3、线性神经网络
4、多层感知机
5、深度学习计算过程
6、卷积神经网络
7、现代卷积神经网络
8、循环神经网络
9、现代循环神经网络
10、注意力机制
11、算法优化
12、计算性能
13、计算机视觉
14-15、自然语言处理

深度学习当前所面临的困难(23)

⽬前,某些直觉只能通过试错、小幅调整代码并观察结果来发展。理想情况下,⼀个优雅的数学理论可能会精确地告诉我们如何调整代码以达到期望的结果。不幸的是,这种优雅的理论⽬前还没有出现。尽管我们尽了最⼤努力,但仍然缺乏对各种技术的正式解释,这既是因为描述这些模型的数学可能⾮常困难,也是因为对这些主题的认真研究最近才进⼊⾼潮。

安装pytorch

常规安装

首先查看你的电脑显卡所支持的cuda和cudnn的版本,可以参考这里:如何查看显卡是否支持CUDA,以及查看CUDA的版本?

但是这跟你的显卡驱动有关系,如果不支持高版本cuda,建议先把显卡驱动更新一下

示例(我的二号电脑):
当前驱动

当前支持

更新后驱动

更新后支持

电脑1号,安装新驱动后:

关于显卡驱动版本,你可以到英伟达显卡驱动下载中心查看

这是我二号电脑的:

我的一号电脑已经安装了cuda9.0(其实可以安装更高的版本),所以我就直接到pytorch官网老版本模块上找对应版本的torch安装


打开上图链接,找到自己python对应的torch,直接用迅雷下载wheel,本地安装


用miniconda(27)

https://conda.io/en/latest/miniconda.html

唉,最低只支持python3.7,看来我的电脑一号用不了miniconda了,显卡太次

接下面,

cuda已经更新到11.1版本了,我们安装miniconda

先安装python3.9.6(截至2021年8月3日最高版本)

装好了,然后再跳到下面安装框架和 d2l 软件包(28)

下载 D2L Notebook(28)

就像我开头那样,已经下了,也可以按照作者提供的方法下

安装框架和 d2l 软件包(28)

我已经装好pytorch了,接下来装torchvision

torchvision是啥?参考:torchvision 包的介绍

torchvision 是PyTorch中专门用来处理图像的库。这个包中有四个大类。

torchvision.datasets

torchvision.models

torchvision.transforms

torchvision.utils

安装:

pip install torch torchvision

运行结果:

C:\\Users\\Administrator\\Desktop\\编译原理\\python>pip install torch torchvision
Requirement already satisfied: torch in d:\\20191031_tensorflow_yolov3\\python\\lib\\site-packages (1.1.0)
Collecting torchvision
  Downloading torchvision-0.10.0-cp36-cp36m-win_amd64.whl (920 kB)
     |████████████████████████████████| 920 kB 467 kB/s
Requirement already satisfied: numpy in d:\\20191031_tensorflow_yolov3\\python\\lib\\site-packages (from torch) (1.15.1)
Collecting torch
  Downloading torch-1.9.0-cp36-cp36m-win_amd64.whl (222.0 MB)
     |████████████████████████████████| 222.0 MB 28 kB/s
Requirement already satisfied: pillow>=5.3.0 in d:\\20191031_tensorflow_yolov3\\python\\lib\\site-packages (from torchvision) (5.3.0)
Collecting dataclasses
  Downloading dataclasses-0.8-py3-none-any.whl (19 kB)
Collecting typing-extensions
  Downloading typing_extensions-3.10.0.0-py3-none-any.whl (26 kB)
Installing collected packages: typing-extensions, dataclasses, torch, torchvision
  Attempting uninstall: torch
    Found existing installation: torch 1.1.0
    Uninstalling torch-1.1.0:
      Successfully uninstalled torch-1.1.0
Successfully installed dataclasses-0.8 torch-1.9.0 torchvision-0.10.0 typing-extensions-3.10.0.0

C:\\Users\\Administrator\\Desktop\\编译原理\\python>

这咋把我torch1.1.0给删了,待会跑不了GPU咋办呀???

、卸载cuda,装更高的版本的算了

电脑二号,显卡p620,python装的3.9,pytorch可装1.9.0版本,cuda装10.2版本,cuda老版本下载地址:https://developer.nvidia.com/cuda-toolkit-archive

电脑一号,显卡1050Ti,python重装3.9,pytorch装1.9.0,cuda装11.1.0

跟pytorch官网建议的一致

装了cuda别忘了装cudnn,直接在这里11.x版本

cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销


为啥显示x86的点下载又是x64的??

下好解压,然后把这堆给复制进这个目录里


cudnn就算弄好了

nvcc -V查看下cuda,也可用nvidia-smi查看

  • 然后我们回到上面装miniconda(27)

  • ok,装好python3.9.3和miniconda了,我们继续装pytorch:

pytorch官网上,根据指令提示

控制台运行命令:

pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

好大啊@!足足下了三四个G,过于强大运行结果不便展示!!!

  • 接下来安装 d2l 软件包,作者在里面封装了本书中常⽤的函数和类:
pip install -U d2l

-U是upgrade的意思

  • 接下来我们测试下pytorch能否使用cuda进行计算:

以下测试代码来自李沫大神的视频:Windows下安装CUDA和Pytorch跑深度学习

C:\\Users\\Administrator>python
Python 3.9.6 (tags/v3.9.6:db3ff76, Jun 28 2021, 15:26:21) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> a = torch.ones((3, 1))
>>> a = a.cuda(0)
>>> b = torch.ones((3, 1)).cuda(0)
>>> a + b
tensor([[2.],
        [2.],
        [2.]], device='cuda:0')
>>>

可以看到,没有任何问题

  • 然后我们直接在下载的代码包文件夹打开jupyter notebook(需要先开通右键控制台功能,没有的话就自行cd切换目录)

控制台:

jupyter notebook

  • 发现不行啊!jupyter notebook图片显示不出来!

决定卸载当前python,全部使用miniconda里 的python

miniconda默认给装的python是3.9.5

我们打开anaconda的控制台,以下任意一个都可以

同样根据上面pytorch官网给出的指令安装,以及作者给出的指令安装 d2l 软件包

TNND还是不行啊!无法编辑markdown文件同时图片也无法显示,是不是miniconda(或许是python版本过高??)问题,我要卸载miniconda装anaconda!

还是不行,直接通过开始目录运行jupyter notebook也不行

现在最有可能的就是python版本问题,我决定安装python3.8,装低版本的miniconda,先卸载anaconda,辛亏网速快,不然这么搞要给搞死!都下了几十个G了

安装python3.8的miniconda,还是不行,应该是notebook文件的问题了,应该是ipynb格式的,非得搞个markdown格式

我去下载之前的ipynb格式的notebook文件得了。。。

GPU支持(29)

参考前面cuda的安装

符号(31)

数字(31)

集合论(31)

函数和运算符(32)

微积分(32)

概率与信息论(33)

复杂度(33)

以上是关于(d2l-ai/d2l-zh)《动手学深度学习》pytorch 笔记(序言pytorch的安装神经网络涉及符号)的主要内容,如果未能解决你的问题,请参考以下文章

(d2l-ai/d2l-zh)《动手学深度学习》pytorch 笔记(序言pytorch的安装神经网络涉及符号)

(d2l-ai/d2l-zh)《动手学深度学习》pytorch 笔记前言(介绍各种机器学习问题)以及数据操作预备知识Ⅲ(概率)

(d2l-ai/d2l-zh)《动手学深度学习》pytorch 笔记前言(介绍各种机器学习问题)以及数据操作预备知识Ⅱ(线性代数微分自动求导)

今天的第二篇计划

Softmax 回归 + 损失函数 + 图片分类数据集 动手学深度学习v2 pytorch

批量归一化Batch Normalization 动手学深度学习v2