PyTorch nn.RNN 参数全解析

Posted 2022-06-20 raelum

目录

• 一、简介
• 二、前置知识
• 三、解析
• • 3.1 所有参数
  • 3.2 输入参数
  • 3.3 输出参数
• 四、通过例子来进一步理解 nn.RNN
• 五、从零开始手写一个单隐层单向RNN
• 最后

一、简介

torch.nn.RNN 用于构建循环层，其中的计算规则如下：

$${\mathbf{h}}_t=\tanh ({\mathbf{W}}_{ih}{\mathbf{x}}_t+{\mathbf{b}}_{ih}+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+{\mathbf{b}}_{hh})\text{\hspace{1em}(1)}$$

其中 ${\mathbf{h}}_t$ 是 $t$ 时刻的隐层状态，${\mathbf{x}}_t$ 是 $t$ 时刻的输入。下标 $i$ 是 $input$ 的简写，下标 $h$ 是 $hidden$ 的简写。$\mathbf{W},\mathbf{b}$ 分别是权重和偏置。

二、前置知识

先回顾一下普通的神经网络，我们在训练它的过程中通常会投喂一小批量的数据。不妨设 $\text{batch\_size}=N$，则投喂的数据的形式为：

$$\mathbf{X}={\left[\begin{array}{c}{\mathbf{x}}_1^{\text{T}}\\ ⋮\\ {\mathbf{x}}_N^{\text{T}}\end{array}\right]}_{N\times d}$$

其中 ${\mathbf{x}}_i=(x_{i1},x_{i2},\cdots ,x_{id}{)}^{\text{T}}$ 为特征向量，维数为 $d$。

在处理序列问题中，我们会将词元转化成对应的特征向量。例如在处理一个英文句子时，我们通常会通过某种手段将每个单词转化为合适的特征向量。设序列（句子）长度为 $L$，于是在此情景下，一个句子可以表示为：

$${\text{seq}}_i={\left[\begin{array}{c}{\mathbf{x}}_{i1}^{\text{T}}\\ ⋮\\ {\mathbf{x}}_{iL}^{\text{T}}\end{array}\right]}_{L\times d}$$

其中的每个 ${\mathbf{x}}_{ij},j=1,\cdots ,L$ 都对应了句子 ${\text{seq}}_i$ 中的一个单词。在上述约定下，我们在 $t$ 时刻投喂给RNN的数据为：

$${\mathbf{X}}_t={\left[\begin{array}{c}{\mathbf{x}}_{1t}^{\text{T}}\\ ⋮\\ {\mathbf{x}}_{Nt}^{\text{T}}\end{array}\right]}_{N\times d}\text{\hspace{1em}(2)}$$

从而 $(1)$ 式改写为

$${\mathbf{H}}_t=\tanh ({\mathbf{X}}_t{\mathbf{W}}_{ih}+{\mathbf{b}}_{ih}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_{hh})\text{\hspace{1em}(3)}$$

其中 ${\mathbf{H}}_t,{\mathbf{H}}_{t-1}$ 的形状为 $N\times h$，${\mathbf{W}}_{ih}$ 的形状为 $d\times h$，${\mathbf{W}}_{hh}$ 的形状为 $h\times h$，${\mathbf{b}}_{ih},{\mathbf{b}}_{PyTorch建立RNN相关模型}$

是否使用 nn.RNN 的代码差异

教师用 pytorch RNN 强制

深度学习原理与框架-递归神经网络-RNN_exmaple(代码) 1.rnn.BasicLSTMCell(构造基本网络) 2.tf.nn.dynamic_rnn(执行rnn网络) 3.tf.expa

tf.squeeze和tf.nn.rnn的功能是什么？

Tensorflow 与 Keras 中的 RNN，tf.nn.dynamic_rnn() 的贬值