自然语言处理之循环神经网络

Posted 投资之于生活

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了自然语言处理之循环神经网络相关的知识,希望对你有一定的参考价值。

1. 时序模型

1.1 时序模型的特点

针对对象:序列数据。例如文本,是字母和词汇的序列;语音,是音节的序列;视频,是图像的序列;气象观测数据,股票交易数据等等,也都是序列数据。

核心思想:样本间存在顺序关系,每个样本和它之前的样本存在关联。通过神经网络在时序上的展开,我们能够找到样本之间的序列相关性。


1.2 时序模型的网络结构

2 RNN概述

2.1 RNN的发展历程

早期:在20世纪八九十年代,RNN的核心思想是重新使用参数和计算。

中期:除了LSTM外,RNN基本从主流研究中消失了。

当前:应用广泛,自然语言处理、视频建模、手写识别和用户意图预测。
自然语言处理之循环神经网络(五)

2.2 RNN基本框架

自然语言处理之循环神经网络(五)

2.3 RNN典型应用

3 RNN的网络结构

3.1 RNN的网络结构

循环神经网络可以对自然语言句子或是其他时序信号进行建模,RNN网络结构如图所示。

3.2 RNN文本分类

循环神经网络开始从左到右阅读这个句子,在未经过任何阅读之前,循环神经网络中的记忆向量是空白的。其处理逻辑如下:

网络阅读单词“我”,并把单词“我”的向量表示和空白记忆相融合,输出一个向量h1用于表示“空白+我”的语义。

网络开始阅读单词“爱”,这时循环神经网络内部存在“空白+我”的记忆。循环神经网络会将“空白+我”和“爱”的向量表示相融合,并输出“空白+我+爱”的向量表示h2用于表示“我爱”这个短语的语义信息。

网络开始阅读单词“人工”,同样经过融合之后,输出“空白+我+爱+人工”的向量表示h3,用于表示“空白+我+爱+人工”语义信息

最终在网络阅读了“智能”单词后,便可以输出“我爱人工智能”这一句子的整体语义信息。


以上是关于自然语言处理之循环神经网络的主要内容,如果未能解决你的问题,请参考以下文章

手把手写深度学习——用RNN循环神经网络自动生成歌词之理论篇

145自然语言处理进阶手册--循环神经网络

循环神经网络综述-语音识别与自然语言处理的利器

自然语言处理(NLP)基于循环神经网络实现情感分类

自然语言处理(NLP)基于循环神经网络实现情感分类

自然语言处理入门实战——基于循环神经网络RNNLSTMGRU的文本分类(超级详细,学不会找我!!!)