传统RNN

Posted 弥漫的幻雪的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了传统RNN相关的知识,希望对你有一定的参考价值。

一、单层网络

单层网络就是输入一个x,经过神经元的变换,输出一个y

 

二、RNN

有很多种序列输入的数据,如:

 

自然语言处理问题。x1可以看做是第一个单词,x2可以看做是第二个单词,依次类推。

语音处理。此时,x1、x2、x3……是每帧的声音信号。

时间序列问题。例如每天的股票价格等

序列形的数据就不太好用原始的神经网络处理了。为了建模序列问题,RNN引入了隐状态h(hidden state)的概念,h可以保存过去的x中的特征,而不只是保存当前的x

 

 由于h的这种保存性质,输出的y由h得到

 

以上是关于传统RNN的主要内容,如果未能解决你的问题,请参考以下文章

传统RNN

强烈推荐RNN 架构解析(循环神经网络)

强烈推荐RNN 架构解析(循环神经网络)

RNN的灵活性

RNN与LSTM原理

深度学习LSTM结构推导,为啥比RNN好?