rnn神经网络
Posted yangyang12138
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rnn神经网络相关的知识,希望对你有一定的参考价值。
1.概述
循环神经网络是一种能对序列数据进行精确建模的有力工具。实际上,循环神经网络的理论计算能力是图灵完备的。自然语言是一种典型的序列数据(词序列),近年来,循环神经网络及其变体在自然语言处理的多个领域,如语言模型、句法解析、语义角色标注(或一般的序列标注)、语义表示、图文生成、对话、机器翻译等任务上均表现优异甚至成为目前效果最好的方法。
图为只有一层的rnn网络,循环神经网络按时间展开后如图2所示:在第tt时刻,网络读入第tt个输入xtxt(向量表示)及前一时刻隐层的状态值ht−1ht−1(向量表示,h0h0一般初始化为00向量),计算得出本时刻隐层的状态值htht,重复这一步骤直至读完所有输入。如果将循环神经网络所表示的函数记为ff,则其公式可表示为:
公式
2.rnn神经网络的单元
(1).LSTM长效记忆门
其中,it,ft,ct,otit,ft,ct,ot分别表示输入门,遗忘门,记忆单元及输出门的向量值,带角标的WW及bb为模型参数,tanhtanh为双曲正切函数,⊙⊙表示逐元素(elementwise)的乘法操作。输入门控制着新输入进入记忆单元cc的强度,遗忘门控制着记忆单元维持上一时刻值的强度,输出门控制着输出记忆单元的强度。三种门的计算方式类似,但有着完全不同的参数,它们各自以不同的方式控制着记忆单元cc,
(2).GRU是LSTM的一个简化,只有两个门
- 重置门(reset gate):如果重置门关闭,会忽略掉历史信息,即历史不相干的信息不会影响未来的输出。
- 更新门(update gate):将LSTM的输入门和遗忘门合并,用于控制历史信息对当前时刻隐层输出的影响。如果更新门接近1,会把历史信息传递下去。
encoder_fwd_cell = layers.GRUCell(hidden_size=hidden_dim) encoder_fwd_output, fwd_state = layers.rnn( cell=encoder_fwd_cell, inputs=src_embedding, sequence_length=src_sequence_length, time_major=False, is_reverse=False) # 使用GRUCell构建反向RNN encoder_bwd_cell = layers.GRUCell(hidden_size=hidden_dim) encoder_bwd_output, bwd_state = layers.rnn( cell=encoder_bwd_cell, inputs=src_embedding, sequence_length=src_sequence_length, time_major=False, is_reverse=True) # 拼接前向与反向GRU的编码结果得到h encoder_output = layers.concat( input=[encoder_fwd_output, encoder_bwd_output], axis=2) encoder_state = layers.concat(input=[fwd_state, bwd_state], axis=1) return encoder_output, encoder_state
以上是关于rnn神经网络的主要内容,如果未能解决你的问题,请参考以下文章
[Pytorch系列-51]:循环神经网络RNN - torch.nn.RNN类的参数详解与代码示例
长短期记忆网络 LSTM 深层循环神经网络 Deep RNN 双向循环神经网络 Bidirectional RNN 动手学深度学习v2
长短期记忆网络 LSTM 深层循环神经网络 Deep RNN 双向循环神经网络 Bidirectional RNN 动手学深度学习v2