深度学习要点———神经网络的类型

Posted 2020-11-03 findtruth123

CNN（Convolutional Neural Network）

　　（1）CNN的概念

　　CNN，常被称作卷积神经网络，经常被用于图像处理。

　　CNN最关键的两个步骤是：卷积与池化。以下是它的过程图：

　CNN之所以能够进行卷积，有两点理由：1.图像的模式会远远的小于整张图片；2.图像中相同的模式会出现在不同的位置。

　　　　CNN之所以能够进行池化，主要是因为图像中有很多冗余点，即使我们对它进行subsamble也不会改变整张图片的模式。

　　（2）卷积

　　　　所谓卷积，就是预定义比原始矩阵更小的矩阵，然后用这个矩阵与原来的输入矩阵进行矩阵乘法。可想而知，通过卷积之后矩阵的大小肯定会变小。假设原来的矩阵大小的是m*m,卷积的矩阵大小是n*n,那么卷积之后的矩阵大小为(m-n+1)(m-n+1)。如果你想要保持卷积后的矩阵的大小和原来的矩阵大小相等，那么你就要使用zero padding技术。

　　（3）池化

　　　　这里的池化一般指的是最大池化。最大池化，就是预先定义一个k*k的矩阵，然后确定卷积后的矩阵在这个k*k的矩阵中的最大值。池化后的矩阵大小为(m-n+1)/k*(m-n+1)/k。

　　（4）应用

　　　　CNN主要运用于图像处理，在Playing go中，运用了CNN的卷积技术，但是没有用到池化技术。

RNN（Recureent nertual network）

　　RNN，也叫做循环神经网络模型。RNN用于处理时序数据，因为它能够记住历史信息。

　　RNN的类型有很多，典型的RNN模型指的是：当前隐层节点的输出被存贮，而后作用于当前层节点。

　　由RNN衍生出了很多不同类型的RNN，不同类型的特征和定义，请参考同一分类下RNN类型文章：

　　（1）Bidirectional RNN

（2）LSTM

（3）训练过程

　　因为利用了历史信息，所有RNN的训练不能简单的使用后向传播算法，而是要使用改进的BPTT(Back Propagation through time)。

　　RNN在训练的过程也会存在梯度消失的问题，LSTM可以克服这个问题。只要LSTM的forget gated还在的话，就不会出现梯度小时问题。比RNN更简单的GRU也有这种效果。

　　（4）应用

　　机器翻译，video caption generation, 看图说话。。。。