第07课：RNN 在序列问题中的应用——文本分类

Posted 2022-12-01 wangongxi

本节课我们介绍另一种常用的神经网络结果——循环神经网络（Recurrent Neural Network，RNN）。需要注意的是，RNN 可以是两种神经网络的缩写，一种是本次课程讨论的 Recurrrent Neural Network，另一种则是 Recursive Neural Network，也称递归神经网络。前者是时间递归的神经网络，而后者是结构递归。在下文中，如果不特别说明，RNN 都代表 Recurrent Neural Network。有关递归神经网络的更多信息，读者可以自行查阅相关资料，这里不再赘述。本节课核心内容包括：

• 基于 Many-to-One 架构的文本分类应用

在实际问题中，视频、文本、语音都具有时序性。虽然上一节课中介绍的卷积神经网络可以针对单一图像进行目标检测和识别，但是并不擅长处理时序问题，而这些问题用循环神经网络处理起来就自然许多。我们先结合下面两张图来看下循环神经网络的原理。

第一张图从宏观上解释了循环神经网络结构递归的本质。从第一张图可以看出，循环神经网络的总体结构和之前介绍的全连接网络是类似的，但在中间的隐藏层神经元之间是有状态的连续传递。通常我们都会用第一张图右侧的简略图来表示循环神经网络。

第二张 GIF 图则是对第一张图中隐藏层结构展开的动态效果的展示。从 GIF 动图中我们可以看到，循环神经网络每个