循环神经网络

Posted 2022-12-07 nxf-rabbit75

一、RNN

1.展开图

（1）假设$x^(t)$为$t$时刻系统的外部驱动信号，则动态系统的状态为$h^(t)=f(h^(t-1),x^(t);\\theta)$

（2）当训练RNN根据过去预测未来时，网络通常要讲$h^(t)$作为过去序列信息的一个有损的representation，因为它使用一个固定长度的向量$h^(t)$来表达任意长的序列$\\x^(1),...,x^(t-1)\\$

根据不同的训练准则，representation可能会有选择地保留过去序列的某些部分，如attention机制。

（3）

（4）

 

2.网络模式

2.1 零长度输入序列

2.2 单长度输入序列

2.3 多长度输入序列

3.输出序列长度

二、训练算法

1.BPTT算法

2.Teacher forcing算法

三、长期依赖

1.长期依赖

2.多时间尺度

3.渗漏单元

4.梯度截断

5.引导信息流的正则化

 

四、常见RNN变种

1.双向RNN

2.深度RNN

3.LSTM和GRU

3.1 LSTM

3.2 GRU

4.编码-解码结构

5.attention

5.1 local attention

5.2 self attention

5.3 Hierarchical attention