PyTorch学习笔记 4. 定义神经网络

Posted 编程圈子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorch学习笔记 4. 定义神经网络相关的知识,希望对你有一定的参考价值。

一、 torch.nn 概述

1. 定义网络

torch.nn是Pytorch专门为神经网络设计的模块化接口,基于AutoGrad实现。nn.Module是其中最重要的一个类,可以看作是网络的封装,包含网络各层的定义和forward方法。调用 forward 方法,可以返回前向传播的结果。

定义网络时,就需要继承nn.Module,并实现它的forward方法。

  • 网络中具有可学习参数的层放在构造函数__init__中。
  • 如果层(如ReLu激活函数)中有不可学习的参数,放不放在构造函数里都行。如果不放在__init__里,则在forward方法里面可以用nn.functional来替代。
  • forward方法必须重写,用来实现模型的功能、实现各个层之间的连接关系的核心。

下面是定义的一个网络示例:

class Net(nn.Module):
    def __init__(self):
    	# 调用父类构造函数
        super(Net, self).__init__()
        # 建立了两个卷积层,第一层1 个通道输入, 6个输出通道, 5x5 卷积核
        self.conv1 = nn.Conv2d(1, 6, 5)
        # 第一个层输出作为第二个层的输入
        self.conv2 = nn.Conv2d(6, 16, 5)
        #三个全连接层,y = Wx + b 这里没有做激活/非线性操作
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x


    def num_flat_features(self, x):
        size = x.size()[1:]  # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features

model=Net()
print(model)

运行结果:

在nn.Module的子类中定义了forward函数,backward不需要自己定义,函数会自动被实现。
forward 函数中可使用任何Variable 支持的函数,还可以使用 if、for循环、print、log 等Python语法 。
上面构造函数里定义的一系列层,其之间的连接关系并没有,而是在forward里实现层的连接关系。

2. 网络的属性

  • net.parameters() 返回网络的可学习参数;
  • net.named_parameters可同时返回可学习的参数及名称。
params = list(net.parameters())
print(len(params))

for name, parameters in net.named_parameters():
    print(name, ':', parameters.size())

3. 输入tensor给网络

输入值使用Variable封装:

input = Variable(torch.randn(1,1,32,32))
out = net(input)
print(out)

4. 反向传播

# 梯度清零
net.zero_grad()
out.backward(torch.randn(1,10))

调用backward()函数之前都要将梯度清零。
如果梯度不清零,pytorch中会将上次计算的梯度和本次计算的梯度累加。

当硬件限制不能使用更大的bachsize时,使用多次计算较小的bachsize的梯度平均值来代替更方便,坏处就是每次都要清零梯度。

5. 损失函数

nn实现了大部分深度学习的损失函数,这里使用 nn.MSELoss。对于MSELoss,

  1. 如果 reduction = ‘None’,直接返回向量形式的 loss
  2. 如果 reduction ≠ ‘None’,那么 loss 返回的是标量
    • 如果 reduction=‘mean’,返回 loss.mean(); 默认情况下, reduction=‘mean’
    • 如果 reduction=‘sum’,返回 loss.sum();`py

二、torch.nn.Module类的几种实现

1. 通过Sequential来包装层

包装层,就是把几个层包装成一个大的层,下面是使用Sequential的一个示例:

import torch.nn as nn

class MyNet(nn.Module):
    def __init__(self):
        super(MyNet, self).__init__()
        self.conv_block = nn.Sequential(
            nn.Conv2d(3, 32, 3, 1, 1),
            nn.ReLU(),
            nn.MaxPool2d(2))
        self.dense_block = nn.Sequential(
            nn.Linear(32 * 3 * 3, 128),
            nn.ReLU(),
            nn.Linear(128, 10)
        )
    # 在层之间的连接关系,前向传播
    def forward(self, x):
        conv_out = self.conv_block(x)
        res = conv_out.view(conv_out.size(0), -1)
        out = self.dense_block(res)
        return out
 
model = MyNet()
print(model)

运行:

2. 使用OrderdDict有序字典包装层

import torch.nn as nn
from collections import OrderedDict

class MyNet(nn.Module):
    def __init__(self):
        super(MyNet, self).__init__()
        self.conv_block = nn.Sequential(
            OrderedDict(
                [
                    ("conv1", nn.Conv2d(3, 32, 3, 1, 1)),
                    ("relu1", nn.ReLU()),
                    ("pool", nn.MaxPool2d(2))
                ]
            ))
 
        self.dense_block = nn.Sequential(
            OrderedDict([
                ("dense1", nn.Linear(32 * 3 * 3, 128)),
                ("relu2", nn.ReLU()),
                ("dense2", nn.Linear(128, 10))
            ])
        )
 
    def forward(self, x):
        conv_out = self.conv_block(x)
        res = conv_out.view(conv_out.size(0), -1)
        out = self.dense_block(res)
        return out
 
model = MyNet()
print(model)

另外可以使用块的add_module来添加层,示例:

        self.conv_block=torch.nn.Sequential()
        self.conv_block.add_module("conv1",torch.nn.Conv2d(3, 32, 3, 1, 1))
        self.conv_block.add_module("relu1",torch.nn.ReLU())
        self.conv_block.add_module("pool1",torch.nn.MaxPool2d(2))

三、 Module类的几个方法

1. children()

遍历器,查看每一次迭代的元素,迭代Sequential类型。

2. model.named_children()

迭代器,每次迭代返回的元组类型。

3. model.modules()

迭代器,整个模型的属性(主要是层),迭代时返回层对象。

4. model.named_modules()

迭代器,整个模型的属性(主要是层),迭代时返回元组类型。

以上是关于PyTorch学习笔记 4. 定义神经网络的主要内容,如果未能解决你的问题,请参考以下文章

pytorch学习笔记第四篇——神经网络

[PyTorch] 笔记03:神经网络

pytorch学习笔记:卷积神经网络CNN(进阶篇)

pytorch学习笔记第五篇——训练分类器

「深度学习一遍过」必修10:pytorch 框架的使用

PyTorch学习笔记 8. 实现线性回归模型