长短期记忆网络 LSTM 深层循环神经网络 Deep RNN 双向循环神经网络 Bidirectional RNN 动手学深度学习v2

Posted 2022-08-05 AI架构师易筋

1. 长短期记忆网络 LSTM

2. 长短期记忆网络 LSTM 代码实现

3. 深层循环神经网络 Deep RNN

4. 深层循环神经网络 Deep RNN 代码实现

5. 双向循环神经网络 Bidirection RNN

双向RNN 不能用于 推理。双向RNN 做特征提取，完形填空，翻译。

6. 双向循环神经网络 Bidirection RNN 代码实现

7. Q&A

• 1. NLP挺好找工作的，因为文本比图片工作的数量比较多。比如，抽取财报的关键信息。
• 2. 深层RNN，每层都需要一个初始hidden state.
• 3. 双向RNN，反向的初始hidden state 是0.
• 4. 双向RNN，正向和反向之间没有权重关系。正向和反向的权重w是不一样的。也可以深层双向RNN。

参考

https://www.bilibili.com/video/BV1JU4y1H7PC?p=1