多通道(比方RGB三通道)卷积过程

Posted blfbuaa

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了多通道(比方RGB三通道)卷积过程相关的知识,希望对你有一定的参考价值。

今天一个同学问 卷积过程好像是对 一个通道的图像进行卷积, 比方10个卷积核,得到10个feature map, 那么输入图像为RGB三个通道呢,输出就为 30个feature map 吗, 答案肯定不是的, 输出的个数依旧是 卷积核的个数。 能够查看经常使用模型。比方lenet 手写体,Alex imagenet 模型, 每一层输出feature map 个数 就是该层卷积核的个数。


1、 一通道单个卷积核卷积过程

技术分享

技术分享

技术分享

2、 一通道 多个卷积核卷积过程


一个卷积核得到的特征提取是不充分的。我们能够加入多个卷积核,比方32个卷积核,能够学习32种特征。

在有多个卷积核时,例如以下图所看到的:输出就为32个feature map

技术分享



3、 多通道的多个卷积核

下图展示了在四个通道上的卷积操作。有两个卷积核,生成两个通道。当中须要注意的是,四个通道上每一个通道相应一个卷积核,先将w2忽略,仅仅看w1,那么在w1的某位置(i,j)处的值,是由四个通道上(i,j)处的卷积结果相加然后再取激活函数值得到的

 所以最后得到两个feature map。 即输出层的卷积核核个数为 feature map 的个数。

技术分享

技术分享

所以。在上图由4个通道卷积得到2个通道的过程中,參数的数目为4×2×2×2个。当中4表示4个通道。第一个2表示生成2个通道。最后的2×2表示卷积核大小。


以下是常见模型, 理解一下 每层feature map 个数。为上一层卷积核的个数

下图即为Alex的CNN结构图。须要注意的是。该模型採用了2-GPU并行结构,即第1、2、4、5卷积层都是将模型參数分为2部分进行训练的。

在这里。更进一步,并行结构分为数据并行与模型并行。

数据并行是指在不同的GPU上,模型结构同样,但将训练数据进行切分。分别训练得到不同的模型,然后再将模型进行融合。

而模型并行则是,将若干层的模型參数进行切分,不同的GPU上使用同样的数据进行训练,得到的结果直接连接作为下一层的输入。

技术分享

上图模型的基本參数为:

输入:224×224大小的图片,3通道
第一层卷积:5×5大小的卷积核96个,每一个GPU上48个。
第一层max-pooling:2×2的核。
第二层卷积:3×3卷积核256个,每一个GPU上128个。


第二层max-pooling:2×2的核。


第三层卷积:与上一层是全连接,3*3的卷积核384个。分到两个GPU上个192个。


第四层卷积:3×3的卷积核384个,两个GPU各192个。该层与上一层连接没有经过pooling层。
第五层卷积:3×3的卷积核256个,两个GPU上个128个。


第五层max-pooling:2×2的核。


第一层全连接:4096维,将第五层max-pooling的输出连接成为一个一维向量,作为该层的输入。
第二层全连接:4096维
Softmax层:输出为1000,输出的每一维都是图片属于该类别的概率。

4 DeepID网络结构

DeepID网络结构是香港中文大学的Sun Yi开发出来用来学习人脸特征的卷积神经网络。每张输入的人脸被表示为160维的向量。学习到的向量经过其它模型进行分类,在人脸验证试验上得到了97.45%的正确率,更进一步的,原作者改进了CNN,又得到了99.15%的正确率。

例如以下图所看到的,该结构与ImageNet的详细參数类似,所以仅仅解释一下不同的部分吧。

技术分享

上图中的结构。在最后仅仅有一层全连接层,然后就是softmax层了。论文中就是以该全连接层作为图像的表示。

在全连接层,以第四层卷积和第三层max-pooling的输出作为全连接层的输入,这样能够学习到局部的和全局的特征。



---------------------------------------------------------------------------------------------------------------------------------------------------------------------

以下讲一下,caffe中的实现。

技术分享

Caffe中的卷积计算是将卷积核矩阵和输入图像矩阵变换为两个大的矩阵A与B,然后A与B进行矩阵相乘得到结果C(利用GPU进行矩阵相乘的高效性),三个矩阵的说明例如以下:

(1)在矩阵A中

        M为卷积核个数,K=k*k,等于卷积核大小。即第一个矩阵每行为一个卷积核向量(是将二维的卷积核转化为一维),总共同拥有M行。表示有M个卷积核。

(2)在矩阵B中

        N=((image_h + 2*pad_h – kernel_h)/stride_h+ 1)*((image_w +2*pad_w – kernel_w)/stride_w + 1)

        image_h:输入图像的高度

        image_w:输入图像的宽度

        pad_h:在输入图像的高度方向两边各添加pad_h个单位长度(由于有两边。所以乘以2)

        pad_w:在输入图像的宽度方向两边各添加pad_w个单位长度(由于有两边。所以乘以2)

        kernel_h:卷积核的高度

        kernel_w:卷积核的宽度

        stride_h:高度方向的滑动步长;

        stride_w:宽度方向的滑动步长。

        因此,N为输出图像大小的长宽乘积。也是卷积核在输入图像上滑动可截取的最大特征数。

        K=k*k。表示利用卷积核大小的框在输入图像上滑动所截取的数据大小。与卷积核大小一样大。

(3)在矩阵C中

        矩阵C为矩阵A和矩阵B相乘的结果,得到一个M*N的矩阵,当中每行表示一个输出图像即feature map,共同拥有M个输出图像(输出图像数目等于卷积核数目)


 (在Caffe中是使用src/caffe/util/im2col.cu中的im2col和col2im来完毕矩阵的变形和还原操作)

 

 举个样例(方便理解):

     如果有两个卷积核为技术分享技术分享,因此M=2。kernel_h=2。kernel_w=2,K= kernel_h * kernel_w=4

     输入图像矩阵为技术分享,因此image_h=3,image_w=3。令边界扩展为0即pad_h=0。pad_w=0。滑动步长为1,即stride_h=1。stride_w=1

     故N=[(3+2*0-2)/1+1]*[ (3+2*0-2)/1+1]=2*2=4

 

    A矩阵(M*K)为技术分享(一行为一个卷积核),B矩阵(K*N)为技术分享(B矩阵的每一列为一个卷积核要卷积的大小)

    A 矩阵的由来:::  技术分享  

    B矩阵的由来:(caffe 有 imtocol.cpp代码,专门用于实现) 技术分享



    C=A*B=技术分享*技术分享=技术分享

    C中的技术分享技术分享分别为两个输出特征图像即feature map。验证了 有几个卷积核就有几个feature map

 

    在Caffe源代码中,src/caffe/util/math_functions.cu(假设使用CPU则是src/util/math_functions.cpp)中的caffe_gpu_gemm()函数。当中有两个矩阵A(M*K)

    与矩阵    B(K*N)。大家能够通过输出M、K、N的值即对应的矩阵内容来验证上述的原理。代码中的C矩阵与上述的C矩阵不一样,代码中的C矩阵存储的是偏置bias。

    是A  与B相乘后得到M*N大小的矩阵,然后再跟这个存储偏置的矩阵C相加完毕卷积过程。假设是跑Mnist训练网络的话,能够看到第一个卷积层卷积过程中,

    M=20,K=25。N=24*24=576。

  (caffe中涉及卷积详细过程的文件主要有:src/caffe/layers/conv_layer.cu、src/caffe/layers/base_conv_layer.cpp、                src/caffe/util/math_functions.cu、src/caffe/util/im2col.cu)

    另外大家也能够參考知乎上贾扬清大神的回答,帮助理解http://www.zhihu.com/question/28385679

  (对于他给出的ppt上的C表示图像通道个数,假设是RGB图像则通道数为3。相应于caffe代码中的变量为src/caffe/layers/base_conv_layer.cpp中

     函数forward_gpu_gemm中的group_)


贾扬清的PPT例如以下:

以下看这个就简单多了, im2col.cpp 的代码也好理解了

技术分享

技术分享




























以上是关于多通道(比方RGB三通道)卷积过程的主要内容,如果未能解决你的问题,请参考以下文章

卷积神经网络多输入通道和多输出通道(channels)

卷积神经网络 - 多通道

具有任意数量输入通道(超过 RGB)的卷积神经网络架构

机器学习-卷积神经网络CNN中的单通道和多通道图片差异

卷积神经网络如何处理频道

卷积的理解 python代码实现 pytorch 多输入多输出通道的理解