智者见“智”｜如何给神经网络装上记忆机制？ 循环神经网络入门

Posted 2021-04-26 思凯迈Skymind

循环神经网络(RNN)是一类具有短期记忆能力的神经网络，具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中。这节课我们继续来学习「循环神经网络」。

建议在WIFI环境下观看

根据上节课的内容，我们知道了即使已经有像卷积网络这样表现非常出色的神经网络了，但还是需要循环神经网络来处理序列信息，为了更好的理解循环神经网络，净智老师给我们讲解了序列及序列数据和非序列数据的区别。

 

序列是相互依赖的（有限或无限）数据流，比如时间序列数据、信息性的字符串、对话等。

例如：在平常的生活人与人之间的交谈当中，一句话可能有一个意思，但是整体的对话可能又是完全不同的意思。像股市数据也是非常典型的时间序列数据，单个数据表示当前价格，但是全天的数据会有不一样的变化，这些数据促使股民作出买进或卖出的决定。

股价示意图

正如我们所知，当输入数据具有依赖性且是序列模式时，传统的神经网络无法处理好这个数据。因为在传统的神经网络模型中，层于层之间是全连接的，但是每层之间的节点之间是无连接的，也就是说前一个输入和下一个输入之间没有任何关联。所以所有的输出都是独立的，神经网络接受输入，然后基于训练好的模型输出。也就是说如果你运行了 100 个不同的输入，它们中的任何一个输出都不会受之前输出的影响。

 

但是循环神经网络对之前发生在数据序列中的事是有一定记忆的，因为它具有循环能力来保存信息。循环神经网络会对前面的信息进行记忆并应用于当前输入的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一个时刻隐藏层的输出。我们把这个称作“隐藏态 (Hidden State)”。这个隐藏态就是神经网络的记忆。它具备了循环神经网络在之前的时间步中所学习到的隐藏特征。这个特征将从一个时间步传到另一个时间步。

 循环神经网络示意图

简单来说，你可以把它理解为循环神经网络有无限的记忆，这意味着它们拥有回顾过去信息的能力，这个记忆特征被记录在了隐藏态当中。

循环神经网络在层与层之间是如何连接的？那么循环神经网络是怎么有记忆功能的？所谓的隐藏态又是怎么计算得到的？我们赶快在本期课程中找答案吧！

 

长按扫码关注我们

开启人工智能世界之门