循环神经网络(RNN)的应用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了循环神经网络(RNN)的应用相关的知识,希望对你有一定的参考价值。

参考技术A

循环神经网络(RNN)是目前深度学习最有前景的工具之一,它解决了传统神经网络不能共享从数据中共享位置的特征的问题。目前,RNN已经有了不少有意思的应用:

语音识别 :输入的语音数据,生成相应的语音文本信息。比如微信的语音转文字功能。

机器翻译 :不同语言之间的相互转换。像有道翻译、腾讯翻译官等。最近微软据说实现了中翻英媲美人类的水平

音乐生成 :使用RNN网络生成音乐,一般会用到RNN中的LSTM算法(该算法可以解决RNN网络中相距较远的节点梯度消失的问题)。下面这个github项目实现了jazz音乐的生成。
deepjazz

文本生成 :利用RNN亦可以生成某种风格的文字。有兴趣的可以看一下一下两个github项目
numpy实现字符层面的文本生成器
keras实现特定作家风格的文本

情感分类 :输入文本或者语音的评论数据,输出相应的打分数据。

DNA序列分析 :输入的DNA序列,输出蛋白质表达的子序列。

视频行为识别 :识别输入的视频帧序列中的人物行为。

实体名字识别 :从文本中识别实体的名字。

hello-循环神经网络(RNN)原理

 

主要的应用:机器翻译,自然语言处理,文本处理,语音识别, 图像描述生成 (Generating Image Descriptions), 图像问答QA....

 

1. RNN怎么来的?
2. RNN的网络结构及原理

这里写图片描述
3. RNN的改进1:双向RNN
4. RNN的改进2:深层双向RNN
4.1 Pyramidal RNN
5. RNN的训练-BPTT
6. RNN与CNN的结合应用:看图说话
7. RNN项目练手

  • 循环神经网络(RNN, Recurrent Neural Networks)介绍

       本系列将实现一个基于循环神经网络的语言模型(recurrent neural network based language model)。该实现包含两个方面:一是能够得到任意语句在现实中成立的得分,其提供了判断语法与语义的正确性的度量方式。该模型是机器翻译中的典型应用。二是模型能够产生新的文本,这是一个非常棒的应用。比如,对莎士比亚的文章进行训练,能够产生一个新的类似莎士比亚的文本,目前,这个有趣的想法已经被Andrew Karpathy基于RNNs的字符级别的语言模型实现了。 

 

  1. Word2Vec Tutorial—The Skip-Gram Model
  2. Word Embedding Explained and Visualized
  3. Vector Representation of Words

以上是关于循环神经网络(RNN)的应用的主要内容,如果未能解决你的问题,请参考以下文章

循环神经网络(RNN)浅析

深度学习与图神经网络核心技术实践应用高级研修班-Day2循环神经网络(RNN)

循环神经网络(RNN)简介

入门 一文简述循环神经网络

MIT-循环神经网络(RNN)在自动驾驶的应用

深度学习面试题32:循环神经网络原理(RNN)