门控循环单元 GRU 动手学深度学习v2

Posted 2022-08-05 AI架构师易筋

1. 门控循环单元 GRU

不是每个元素都很重要，比如猫重复了很多次，只有第一次看到猫才比较重要，其它的猫可以被忘记掉。老鼠只出现一次，但也是很重要的。

2. 代码实现

简洁实现

3. Q&A

• 1. GRU相比RNN多了很多参数，但是GRU比RNN更稳定，也就是不会导致梯度爆炸。
• 2. RNN在长文本的时候效果不好，所以用GRU，LSTM效果会比较好，能做到100左右。超过100可以用BERT。

参考

https://www.bilibili.com/video/BV1mf4y157N2?p=1