关于LSTM核心思想的部分理解

Posted 2020-10-31 谦曰盛

　　具体资料可以查阅网上，这里提到一些难理解的点。别人讲过的知识点我就不重复了。

　　LSTM 的关键就是细胞状态，按照水平线从左向右运行，如同履带，在整个链上运行。

　　

　　

 

　　根据时间t-1，t，t+1，我们可以看出时间顺序

　　

　　完整的一个数据图如下图：

　　

　　LSTM 有称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。类比电子元件输入信息。LSTM 拥有三个门。

LSTM过程：

　　tips：里面是乘号，就代表相乘，里面是加号，就代表相加，学习这个要类比流程图。

S1： 忘记门

　　

　　注意：有两个输入：和， 经过的变换，得到，就是右边得到的式子。

 

S2：生成补充记忆

　　

　　的结果可以类比 W·X + b 的形式来记忆，在函数的作用下得到；同理 

 

S3：“记忆更新”（更新细胞状态）

　　

　　同样的道理，输入有三个：、和，要在系数的作用下再相加。

 

 S4：选择性输出

　　

　　的分析同S2步骤，在 tanh函数以及系数的作用下输出。

以上就是LSTM的过程分析，需要结合专业的资料结合看。