原创 [人工智能-深度学习-48]：RNN是循环神经网络还是递归神经网络？

Posted 2021-12-14 文火冰糖的硅基工坊

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121379935

---

目录

前言：

一、什么是RNN

二、什么是循环神经网络RNN

三、什么是递归神经网络RNN

---

---

前言：

这是一个很容易混淆的概念，网上充斥了大量混用的情形，在学习RNN之前，我们不妨先做个简单的澄清。

一、什么是RNN

NN表示神经网络neural network，关键什么是"R"?

实际上，在深度学习领域，R有两种情形：

（1）Recurrent Neural Network => 循环神经网络RNN

（2）Recursive Neural Network => 递归神经网络RNN

因此，RNN即是循环神经网络的简称，也是递归神经网络的简称。

其中，循环神经网络的简称更加的广泛！

二、什么是循环神经网络RNN

Recurrent Neural Network => 循环神经网络RNN

字面意思上，循环是指：“时间”的维度上是循环的，是时间上有反馈的网络，循环是指：转了一圈，又回来的网络。

 上图左图：空间示意图，在网络形态确定的情况下，网络的输出，不仅仅取决于输入Xt，还取决于之前的输出Ht-1, 即当前的状态。

上图右图：是指按照时间的顺序展开的“逻辑”示意图。X0， X1.......Xt按照时间的顺序依次送入网络中的数据，而h0，h1，.....ht是指按照时间的顺序依次输出的数据。

h1的输出，不仅仅取决于x1的输入，还取决于之前h0的状态，即X1对应的输出，不同的“上文”，其输出是不同的。如我们、它们、他们中的“们”字，在不同的“上文”中含义是不相同的。

这样的神经网络称为“时序神经网络”

时序神经网络适合：

处理“具有时序关系的输入序列”。也就是说，一个输入对应的输出，还取决于其“上文”的应用场合，如文字分类，自然语言处理。

三、什么是递归神经网络RNN

Recursive Neural Network => 递归神经网络RNN。

字面意思的“递归”是指：是一种“空间”的迭代。网络结构如下图所示：

在该图中：

X1的输入，送给X1的神经元网络。

X2的输入与X1的输出，一起送给X2的神经元网络。

X3的输入与X2的输出，一起总给X3的神经元网络。

如此递归.............................

递归神经网络RNN本质还是一个没有返回和内部状态的“组合逻辑”，而不是“时序逻辑”。

---

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121379935