卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析

Posted tina_ttl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析相关的知识,希望对你有一定的参考价值。

最近在学习卷积神经网络,哎,真的是一头雾水!最后决定从阅读CNN程序下手!

程序来源于GitHub的DeepLearnToolbox

由于确实缺乏理论基础,所以,先从程序的数据流入手,虽然对高手来讲,这样有点太小儿科了,但觉得对于个人理解CNN网络的结构和数据流走向有较大帮助!

 

下面,将要分析CNN的前向传播算法cnnff.m

 

本程序所用的神经网络的结构如下图的结构体net所示

结构体net 技术分享

包含5层

技术分享

每层的结构

技术分享

技术分享

这五层的结构如下:

技术分享

每层的结构分别如下:

技术分享

 

为了方便自己理解,下面,分别对每一层的输入、输出、传播分解介绍

只考虑某一批词的样本

注:所有样本集被分为numbatches批,每一批含有batchsize个样本,对于本程序而言,共有50个样本

 

 1 第一层到第五层的数据传递

 

技术分享

2 第1层到第2层的前面传播(l=2):卷积操作

技术分享

利用循环,分别计算第二层每个map的输出:net.layers{2}.a{j} (j=1,..,6)(这里的l=2

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

1初始化一个三维矩阵z

  • z的大小为24*24*50,即第二层中每个map的尺寸
  • z存放的是:第二层中每个map的输入

2)计算第2层第j个map的输入

  • 即第1层的所有输出(i=1,…, inputmaps)对第2层的第j个输入的贡献的累加
  • z的计算方法是:

    利用第二层的第jmap的卷积核net.layers{2}.k{i}{j}分别对第一层中的第imap进行卷积运算(i=1,…, net.layers{1}.outputmaps),并将得到的所有卷积结果相加

    技术分享

  • 2层的inputmaps=1
  • net.layers{l}.k{i}{j}进行解释:

net.layers{l}.k:是一个元胞,有两层

net.layers{l}.k{i}:第l-1层的第imap到第l层的所有maps的卷积核

net.layers{l}.k{i}{j}:第l-1层的第imap到第l层的第jmap的卷积核

下面是一个例子:

第四层的卷积核元胞

技术分享

3层的第1map到第4层的所有maps的卷积核(12)个

技术分享

3层的第1map到第四层的第1maps的卷积核

技术分享

3计算第2层的第jmap的输出

  • 第二层的第jmap的输出为net.layers{2}.a{j}=sigm(z+net.layers{l}.b{j})

    即第二层的第jmap的输入z+map的偏执项后,求sigm函数

4对第1层的map进行卷积操作的图例

 

技术分享

3 第2层到第3层(l=3):降采样操作

技术分享 

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

(1)对第二层的第jmap进行卷积运算,得到z

  • 利用的卷积核(大小为scale*scale)如下:

    技术分享

 

(2)对z进行降采样,得到第三层的第jmap的输出

(3)如上所示的降采样过程示例如下图所示

 

技术分享

4 第3层到第4层的前面传播(l=4):卷积操作

 

利用循环,分别计算第四层每个map的输出:net.layers{4}.a{j} (j=1,..,12)(这里的l=4

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

1初始化一个三维矩阵z

  • z的大小为24*24*50,即第二层中每个map的尺寸
  • z存放的是:第四层中每个map的输入

2计算第4层的第j个map的输入

  • 即第3层的所有输出(i=1,…, inputmaps)对第4层的第j个输入的贡献的累加
  • z的计算方法是:

    利用第4层的第jmap的卷积核net.layers{4}.k{i}{j}分别对第3层中的第imap进行卷积运算(i=1,…, net.layers{1}.outputmaps),并将得到的所有卷积结果相加

    技术分享

  • 4层的inputmaps=12

3计算第4层的第jmap的输出

  • 4层的第jmap的输出为net.layers{4}.a{j}=sigm(z+net.layers{4}.b{j})

    即第4层的第jmap的输入z+map的偏执项后,求sigm函数

4对第3层的map进行卷积操作的图例

技术分享

5 第4层到第5层 (l=5):降采样

技术分享

技术分享

下面,讨论第j次循环时,循环体内部的分步解析

(1)对第四层的第jmap进行卷积运算,得到z

  • 利用的卷积核(大小为scale*scale)如下:

    技术分享

 

(2)对z进行降采样,得到第五层的第jmap的输出

 

 

(3)如上所示的降采样过程示例如下图所示

 

技术分享

6 将第五层的map输出向量化

技术分享

技术分享

(1)初始化net网络中的fv(其实是新加入fv,原来输入的net中没有fv
(2)分别对第五层的每个输出map进行向量化(一共用numel(net.layers{n}.a个输出map)

(3)对于第五层的第j个输出map

  • 得到第五层第j个输出map的尺寸,应该是三维的,得到的三维尺寸向量存入sa
  • 将第五层的第j个输出map的矩阵转化为一个sa(1)*sa(2)sa(3)大小的矩阵
  • 并将该得到的转化矩阵接入到第五层的第j-1个输出map之后
  • 关于矩阵fv的结构如上图所示
7 第五层向量化后传入普通神经网

技术分享

技术分享

技术分享

第五层的向量化输出传入一个普通的神经网络,只有输入层和输出层,输入层含有192个神经元,输出层含有10个神经元,输入到输出层的权值矩阵存放在矩阵net.ffW中,在该权值矩阵作用下,该简单神经网络的输出即为最终的整个网络的输出,输出结果存放在net.o矩阵中,该矩阵大小为10*50,每一列分别表示每个输入样本得到的相应的输出

以上是关于卷积神经网络 cnnff.m程序 中的前向传播算法 数据 分步解析的主要内容,如果未能解决你的问题,请参考以下文章

caffe中的前向传播和反向传播

神经网络的前向与后向传播简单理解

用numpy实现CNN卷积神经网络

CNN卷积概念理解

深度学习系列经典博客收藏

卷积神经网络前向传播和BP后向传播计算步骤