LSTM反向传播原理——LSTM从零实现系列

Posted 2022-12-26 量化交易领域专家YangZongxian

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LSTM反向传播原理——LSTM从零实现系列相关的知识，希望对你有一定的参考价值。

一、LSTM反向传播介绍

LSTM的反向传播过程相对复杂，主要因为其对应的控制门较多，而对于每一个控制门我们都需要求导，所以工作量较大。

首先我们根据LSTM结构图分析一下每个控制门的求导过程。在讲解反向传播之前，先了解一些要用到的参数意义。

一般来说LSTM在层后会接一个全连接层FNN，全连接层后面再接一个损失函数Loss，所以这里我将全连接层反向传回给LSTM层的总误差称之为。

从上图LSTM的结构可以观察出，回传的总误差其实会由两个分支进入LSTM内部，分别是和。因此从宏观上看，每个LSTM单元误差传播的起始点为和，终点为和，在起始点和终点之间分别夹杂着4个控制门，上述的这些元素，其实就是LSTM整个反向传播求导过程要涉及的全部内容。

下面我们详细介绍每个元素在求导中的处理方法。

二、反向传播过程符号定义和说明

2.1.符号意义说明

LSTM单元中误差反向传播的过程大体分为两种情况：一种是反向传播的误差来源只包含一条链，比如控制门；另一种是反向传播的误差来源包含和两条传播链，比如控制门以及。如下图所示的遗忘门，其反向传播的误差就是来自于红色和绿色两条传播链，计算时两条链都要计算。

下面我们分别列举各个元素的反向传播路径：

的误差来自于和两条传播链，传播路径为：



的误差来自于四条传播链，分别对应下面四个控制门：

（1）控制门的误差由传来，传播路径为：

        （2）控制门的误差由和传来，传播路径为：

       （3）控制门的误差由和传来，传播路径为：

（4）控制门的误差由和传来，传播路径为：

列举一下每个元素求偏导过程中的符号定义

LSTM单元反向传播的起点和的误差，是由上一层传递来的，这里表示为和，是已知常量。
LSTM单元中的是由和计算而来，所以求导过程中存在到的偏导数，以及到的偏导数。分别由计算而来，所以求导过程中存在分别到的偏导数，，。
LSTM单元中从控制门到存在偏导数，，，。从和到的偏导数则为和。
最后在求偏导的过程中还会用到一些前向传播的数值，如，，，等，这些参数在计算前向传播过程中都可以加以保留。
在理清上述这些反向传播中存在的关系后，下面我们就可以完成整个LSTM单元的反向传播计算了。

LSTM计算顺序如下图所示：

介绍完这些符号定义后，下面就可以开始LSTM的反向传播计算了。

2.2.重要细节——特殊的传播链Ct

是一条比较特殊的传播链，在前向传播时，每个sample都中包含n个Timestep，在第一个Timestep计算时，的初始值是零矩阵，在后续的Timestep计算时会进行不断累计和向后传递。在当前LSTM层计算完成后，向下个LSTM层传递时，只向后传递输出的状态，作为下个LSTM层的输入Xh，而当前层的值不再向下个LSTM层传递。

所以同理，在反向传播时，下一层的会反向传播到上一层作为误差输入，但不会回传，所以每一层LSTM按照时间步倒序计算反向传播过程中，计算第一个Timestep时的初始值也是零矩阵，并且在后续时间步中进行累计和传递。