吴恩达深度学习笔记(deeplearning.ai)之循环神经网络(RNN)

Posted szx_spark

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了吴恩达深度学习笔记(deeplearning.ai)之循环神经网络(RNN)相关的知识,希望对你有一定的参考价值。

1. 导读

本节内容介绍普通RNN的弊端,从而引入各种变体RNN,主要讲述GRU与LSTM的工作原理。

2. 普通RNN的弊端

  • 在NLP中,句子内部以及句子之间可能存在很长的依赖关系(long-term dependecies),最前边的单词对句子后面的单词产生影响。但是普通RNN不擅长捕获这种长期依赖关系。因为RNN相当于很深的权重共享的神经网络,因此在反向传播的过程中存在很严重的梯度消失现象,损失函数得到的输出误差很难影响到前面层的计算。
  • 对于深度神经网络,不光存在梯度消失,也存在梯度爆炸的现象,以至于网络参数崩溃(当参数梯度指数级增长时,你会看到很多参数值为NaN,这意味着网络发生了数值溢出)。普通RNN也是如此,但是相比于梯度消失,梯度爆炸比较容易解决,可以采用梯度修剪(gradient clipping)的处理方法。

    梯度修剪,指当梯度向量大于某个阈值时,re-scale梯度向量,保证它不会数值爆炸。

以上是关于吴恩达深度学习笔记(deeplearning.ai)之循环神经网络(RNN)的主要内容,如果未能解决你的问题,请参考以下文章

深层神经网络——吴恩达DeepLearning.ai深度学习笔记之神经网络和深度学习

吴恩达深度学习笔记(deeplearning.ai)之循环神经网络(RNN)

卷积神经网络——吴恩达DeepLearning.ai深度学习笔记之卷积神经网络

吴恩达深度学习笔记(deeplearning.ai)之循环神经网络(RNN)

吴恩达深度学习笔记(deeplearning.ai)之循环神经网络(RNN)

自然语言处理与词嵌入——吴恩达DeepLearning.ai深度学习笔记之序列模型