hello-循环神经网络（RNN）原理

Posted 2020-11-01 小河沟大河沟

 

主要的应用：机器翻译，自然语言处理，文本处理，语音识别, 图像描述生成 (Generating Image Descriptions), 图像问答QA....

 

• 循环神经网络（RNN）原理通俗解释

1. RNN怎么来的？
2. RNN的网络结构及原理

3. RNN的改进1：双向RNN
4. RNN的改进2：深层双向RNN
4.1 Pyramidal RNN
5. RNN的训练-BPTT
6. RNN与CNN的结合应用：看图说话
7. RNN项目练手

• 循环神经网络(RNN, Recurrent Neural Networks)介绍

       本系列将实现一个基于循环神经网络的语言模型(recurrent neural network based language model)。该实现包含两个方面：一是能够得到任意语句在现实中成立的得分，其提供了判断语法与语义的正确性的度量方式。该模型是机器翻译中的典型应用。二是模型能够产生新的文本，这是一个非常棒的应用。比如，对莎士比亚的文章进行训练，能够产生一个新的类似莎士比亚的文本，目前，这个有趣的想法已经被Andrew Karpathy基于RNNs的字符级别的语言模型实现了。 

• word2vec原理(一) CBOW与Skip-Gram模型基础

 

1. Word2Vec Tutorial—The Skip-Gram Model
2. Word Embedding Explained and Visualized
3. Vector Representation of Words

• 理解 LSTM 网络