机器学习笔记：GRU

Posted 2021-12-28 UQI-LIUWJ

1 LSTM复习

机器学习笔记 RNN初探 & LSTM_UQI-LIUWJ的博客-CSDN博客 中，我们使用的是这样的一张图来说明LSTM：

这里为了和GRU有一个比较，使用如下的图表示LSTM，意思是一样的，绿色和紫色的部分是二者的对照关系： 

2 GRU 原理

 在GRU模型中只有两个门：分别是更新门zt和重置门rt

        更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多

        重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少。

——>我们使用了同一个门控 就同时可以进行遗忘和选择记忆（LSTM则要使用两个门控）。

 ——>与LSTM相比，GRU内部少了一个”门控“，参数比LSTM少，但是却也能够达到与LSTM相当的功能。考虑到硬件的计算能力和时间成本，因而很多时候我们也就会选择更加”实用“的GRU。

——>在GRU中 输入h就是记忆c，所以没有输出门。（把LSTM里面的两个传递量减少成了一个）