LSTM 和 GRU 门如何决定将哪个单词保留在内存中

Posted 2023-02-16

【中文标题】LSTM 和 GRU 门如何决定将哪个单词保留在内存中

【英文标题】：how does LSTM and GRU gates decide which word to keep in the memory

【发布时间】：2019-03-07 13:59:47

【问题描述】：

GRU 中的更新门决定将哪个单词保留在单元格中或明确单元格状态是什么。 gru 中的更新门如何决定何时接近 1 以及何时接近 0？ 基本上，它是如何决定保留一个词而不保留一个词的？谢谢

【问题讨论】：

我添加了一个答案，但不清楚您目前对 GRU 的理解和知识是什么，以及您的困惑到底是什么。如果我的回答不能满足您的要求，请告诉我。

【参考方案1】：

目前尚不清楚您对该问题进行了哪些背景研究。也许谷歌搜索 gru 教程可能会出现一些有用的博客。这里是one。

请记住，尽管单元状态是使用权重进行更新的，这些权重的优化方式与任何其他神经网络权重的优化方式相同，并带有反向传播。 This 是一个很棒的博客，可以帮助解释如何设置 RNN（GRU 是一个特定示例）以及如何使用随时间的反向传播来更新权重。然后，GRU 的权重决定了单元状态的更新方式。