深度学习RNN | GRU | LSTM
Posted zhaopac
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习RNN | GRU | LSTM相关的知识，希望对你有一定的参考价值。
目录：
1、RNN
2、GRU
3、LSTM
一、RNN
1、RNN结构图如下所示：
其中：
$a^{(t)} = oldsymbol{W}h^{t-1} + oldsymbol{W}_{e}x^{t} + mathbf{b}$
$h^{t} = f(a^{t})$, f 是激励函数，sigmoid或者tanh
$hat{y}^{t} = Uh^{t}$
2、RNN中的梯度消失与梯度膨胀
二、GRU
三、LSTM
以上是关于深度学习RNN | GRU | LSTM的主要内容，如果未能解决你的问题，请参考以下文章