递归神经网络（Elman 网络）。上下文到隐藏/隐藏到上下文层权重需要更新吗？

Posted 2023-03-12

【中文标题】递归神经网络（Elman 网络）。上下文到隐藏/隐藏到上下文层权重需要更新吗？

【英文标题】：Recurrent Neural Network (Elman Network). Context to hidden / hidden to context layers weights need update?

【发布时间】：2013-10-07 05:35:12

【问题描述】：

我刚刚开始看到经常性的神经网络。我发现的信息三个来源的Elman的网络上（埃尔曼1991）。 P>

（实施例和代码）http://mnemstudio.org/neural-networks-elman.htm

LI>

（纸）http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf

LI>

（Q＆A）Elman and Jordan context values during training for neural network

LI>

根据所述第一资源，从隐藏上下文/上下文隐藏层的权重不被更新。 P>

从第二资源，它也设置这些更新为0，这意味着它不更新权重。 P>

但是，从＃2的第三资源，用户声称“上下文神经元的神经元的值本身不被更新为训练的进行。的的权重强>它们与下一层之间的更新训练期间“。

我理解上下文神经元节省了隐藏神经的在时间t的值，和在t + 1给它（与输入神经元一起），以隐藏神经元但是，我们必须在间更新权重 P>

【问题讨论】：

在交叉验证好回答的更好的机会：stats.stackexchange.com SPAN> 谢谢，我会后我的问题有 SPAN>

【参考方案1】：

我不确定这个问题是否仍然重要，但这是我的解释：

从隐藏层到上下文层的权重固定为 1。不会更新。

但是，从上下文层返回到隐藏层的权重将得到更新。否则网络将如何学习如何处理过去的值？如果它们不改变，初始化它们的正确值是什么？肯定不是1。

并且上下文神经元的值将在训练期间得到更新。不是通过使用某种 sigmoid 函数，而是通过简单地复制隐藏层的值。