参考循环神经网络的时间步长是多少？

Posted 2023-02-16

【中文标题】参考循环神经网络的时间步长是多少？

【英文标题】：What is a time step with reference to a Recurrent Neural Network?

【发布时间】：2018-04-24 03:54:14

【问题描述】：

我对 RNN 和 LSTM 还很陌生，但我花了相当长的时间从互联网上可以找到的各种资源中学习。我收集到的是，循环神经网络中的时间步长与前馈神经网络中的前向传递相同。但事实证明这是错误的。那是什么？

【参考方案1】：

前向传递涉及完全通过网络运行一个数据项（例如一个完整的句子），直到该项被完全处理（即我们有分类输出）。

时间步长是节点输入被处理成输出，然后这些输出被馈送到下一个节点的过程中的一部分——通常反馈给先前的输入。

【讨论】：

所以你想说的基本上是上一层激活下一层是一个时间步长。那么时间步的“长度”是多少？我们如何控制它？

对——这是一个很好的描述方式。 “长度”由拓扑控制：感知器在一次输入到输出过程中处理什么单位的信息时间？我习惯于将输入的音频流解析为不同大小的剪辑，每个剪辑的长度为几毫秒，并且对应于一个子音素语音元素。文本流通常一次推进一个单词（忽略停用词）。

您描述了我们如何控制长度。但是时间步长是多少？

那个控件定义长度。模型本身没有内在的外部时间感——timestep是这个意义上的时间单位。