pytorch教程之nn.Sequential类详解——使用Sequential类来自定义顺序连接模型
Posted jiangkejie
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pytorch教程之nn.Sequential类详解——使用Sequential类来自定义顺序连接模型相关的知识,希望对你有一定的参考价值。
前言:类似于keras中的序贯模型,当一个模型较简单的时候,我们可以使用torch.nn.Sequential类来实现简单的顺序连接模型。这个模型也是继承自Module类的,关于这个类,后面的文章会详细介绍。
一、关于Sequential类的简介
先来看一下它的定义吧,在之前,我们首先需要明确一个特别重要的观念,那就是——torch的核心是Module类,
Module类在下面这个模块中:
D:ProgramDataAnaconda3envspytorch1.1.0Libsite-packages orch nmodulesmodule.py
Sequential继承自Module,在下面这个模块里面:
D:ProgramDataAnaconda3envspytorch1.1.0Libsite-packages orch nmodulescontainer.py
这样看起来,Sequential似乎是一个容器,的确,他确确实实是可以作为一个容器包装机各层,我在下一篇文章会说到,这里还是先简单看一下它的定义:
class Sequential(Module): # 继承Module def __init__(self, *args): # 重写了构造函数 def _get_item_by_idx(self, iterator, idx): def __getitem__(self, idx): def __setitem__(self, idx, module): def __delitem__(self, idx): def __len__(self): def __dir__(self): def forward(self, input): # 重写关键方法forward
这里还看一下这个所谓的container.py里面还有哪些“容器”存在:
class Container(Module): class Sequential(Module): class ModuleList(Module): class ModuleDict(Module): class ParameterList(Module): class ParameterDict(Module):
二、Sequential类不同的实现(3种实现)
2.1 最简单的序贯模型(直接堆叠)
import torch.nn as nn model = nn.Sequential( nn.Conv2d(1,20,5), nn.ReLU(), nn.Conv2d(20,64,5), nn.ReLU() ) print(model) print(model[2]) # 通过索引获取第几个层 ‘‘‘运行结果为: Sequential( (0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1)) (1): ReLU() (2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1)) (3): ReLU() ) Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1)) ‘‘‘
注意:这样做有一个问题,每一个层是没有名称,默认的是以0、1、2、3来命名,从上面的运行结果也可以看出。
2.2 给每一个层添加名称(传入OrderDict())
import torch.nn as nn from collections import OrderedDict model = nn.Sequential(OrderedDict([ (‘conv1‘, nn.Conv2d(1,20,5)), (‘relu1‘, nn.ReLU()), (‘conv2‘, nn.Conv2d(20,64,5)), (‘relu2‘, nn.ReLU()) ])) print(model) print(model[2]) # 通过索引获取第几个层 ‘‘‘运行结果为: Sequential( (conv1): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1)) (relu1): ReLU() (conv2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1)) (relu2): ReLU() ) Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1)) ‘‘‘
注意:从上面的结果中可以看出,这个时候每一个层都有了自己的名称,但是此时需要注意,我并不能够通过名称直接获取层,依然只能通过索引index,即
model[2] 是正确的
model["conv2"] 是错误的
这其实是由它的定义实现的,看上面的Sequenrial类的定义可知,只支持index访问(getitem_by_index)。
2.3 Sequential的第三种实现(通过.add_module()逐个添加)
import torch.nn as nn from collections import OrderedDict model = nn.Sequential() model.add_module("conv1",nn.Conv2d(1,20,5)) model.add_module(‘relu1‘, nn.ReLU()) model.add_module(‘conv2‘, nn.Conv2d(20,64,5)) model.add_module(‘relu2‘, nn.ReLU()) print(model) print(model[2]) # 通过索引获取第几个层
熟悉keras的小伙伴在这里一定特别熟悉,这不就是keras的做法嘛,的确是的,但是Sequential里面好像并没有定义
add_module()方法啊,实际上,这个方法是定义在它的父类Module里面的,Sequential继承了而已,它的定义如下:
def add_module(self, name, module):
总结:上面的3种定义顺序模型的方法是较为常见的,但是我们说了Sequential除了本身可以用来定义模型之外,它还可以包装层,把几个层包装起来像一个块一样,这在后面会说到。
原文链接:https://blog.csdn.net/qq_27825451/java/article/details/90551513
以上是关于pytorch教程之nn.Sequential类详解——使用Sequential类来自定义顺序连接模型的主要内容,如果未能解决你的问题,请参考以下文章
使用 Pytorch 的 *list、.children() 和 nn.sequential 创建的模型会产生不同的输出张量
如何在 Pytorch 的“nn.Sequential”中展平输入
PyTorch 中的 nn.functional() 与 nn.sequential() 之间是不是存在计算效率差异
pytorch中的顺序容器——torch.nn.Sequential