原创 [人工智能-深度学习-48]:RNN是循环神经网络还是递归神经网络?

Posted 文火冰糖的硅基工坊

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了原创 [人工智能-深度学习-48]:RNN是循环神经网络还是递归神经网络?相关的知识,希望对你有一定的参考价值。

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/121379935


目录

前言:

一、什么是RNN

二、什么是循环神经网络RNN

三、什么是递归神经网络RNN



前言:

这是一个很容易混淆的概念,网上充斥了大量混用的情形,在学习RNN之前,我们不妨先做个简单的澄清。

一、什么是RNN

NN表示神经网络neural network,关键什么是"R"?

实际上,在深度学习领域,R有两种情形:

(1)Recurrent Neural Network => 循环神经网络RNN

(2)Recursive Neural Network => 递归神经网络RNN

因此,RNN即是循环神经网络的简称,也是递归神经网络的简称。

其中,循环神经网络的简称更加的广泛!

二、什么是循环神经网络RNN

Recurrent Neural Network => 循环神经网络RNN

字面意思上,循环是指:“时间”的维度上是循环的,是时间上有反馈的网络,循环是指:转了一圈,又回来的网络。

 上图左图:空间示意图,在网络形态确定的情况下,网络的输出,不仅仅取决于输入Xt,还取决于之前的输出Ht-1, 即当前的状态。

上图右图:是指按照时间的顺序展开的“逻辑”示意图。X0, X1.......Xt按照时间的顺序依次送入网络中的数据,而h0,h1,.....ht是指按照时间的顺序依次输出的数据。

h1的输出,不仅仅取决于x1的输入,还取决于之前h0的状态,即X1对应的输出,不同的“上文”,其输出是不同的。如我们、它们、他们中的“们”字,在不同的“上文”中含义是不相同的。

这样的神经网络称为“时序神经网络”

时序神经网络适合:

处理“具有时序关系的输入序列”。也就是说,一个输入对应的输出,还取决于其“上文”的应用场合,如文字分类,自然语言处理。

三、什么是递归神经网络RNN

Recursive Neural Network => 递归神经网络RNN。

字面意思的“递归”是指:是一种“空间”的迭代。网络结构如下图所示:

在该图中:

X1的输入,送给X1的神经元网络。

X2的输入与X1的输出,一起送给X2的神经元网络。

X3的输入与X2的输出,一起总给X3的神经元网络。

如此递归.............................

递归神经网络RNN本质还是一个没有返回和内部状态的“组合逻辑”,而不是“时序逻辑”。


作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/121379935

以上是关于原创 [人工智能-深度学习-48]:RNN是循环神经网络还是递归神经网络?的主要内容,如果未能解决你的问题,请参考以下文章

[人工智能-深度学习-49]:循环神经网络RNN与NLP的关系以及RNN在人工神经网络中的位置

[人工智能-深度学习-47]:卷积神经网CNN+循环神经网络RNN与组合电路+时序电路的比较

收藏 | 图解循环神经网络RNN

手把手写深度学习——用RNN循环神经网络自动生成歌词之理论篇

手把手写深度学习——用RNN循环神经网络自动生成歌词之理论篇

深度学习网络之RNN(递归神经网络)