[人工智能-深度学习-29]：卷积神经网络CNN - 全连接网络与卷积网络结构的互为等效与性能比较

Posted 2021-11-04 文火冰糖的硅基工坊

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[人工智能-深度学习-29]：卷积神经网络CNN - 全连接网络与卷积网络结构的互为等效与性能比较相关的知识，希望对你有一定的参考价值。

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864

第1章单个全连接神经元与卷积核神经元的结构比较

第1章单个全连接神经元与卷积核神经元的结构比较

以第一个卷积层(28,28,64)和第一个全连接层1024为例。

1.1 全连接神经元

（1）一维向量模型

输入尺寸： （X) = (640)

全连接神经元：（X) = (640) # 与输入尺寸完全相同

输出尺寸： （X) =（1） # 固定尺寸1

（2）等效的三维全连接模型

输入尺寸： （X, Y, Z) = (5, 5, 64)

全连接神经元： （X, Y, Z) = (5, 5, 64） # 其尺寸与输入尺寸完全相同。

输出尺寸： （X) = 1 # 固定尺寸1，所有输入合并，所有通道合并

（3）等效的三维卷积核模型

输入尺寸： （X, Y, Z) = (5, 5, 64)

卷积核神经元：（X, Y, Z) = (5, 5, 64)， # 卷积核尺寸与输入数据尺寸相同，64个通道被合并

输出尺寸： （X, Y) = (1, 1) # 固定尺寸1

此时，卷积就是全连接的三维立体模型

1.2 卷积核神经元（多维模型）

输入尺寸： （X, Y, Z) = (32, 32, 3)

卷积核神经元：(X, Y) = (5, 5, 3） # 其尺寸远远小于输入尺寸, 3个通道被合并

输出尺寸： （X, Y) = (28, 28) # 由卷积核尺寸、输入尺寸、移动步长、填充尺寸调整。

第2章全连接网络与卷积网络的结构比较

2.1 全连接网络

（1）一维向量模型

输入尺寸： （X) = (640)

单全连接神经元:（X) = (640) # 与输入尺寸完全相同

单神经元输出： (X) = (1) # 所有输入被合并成一路

全连接网络： (X, Y) = (640, 1024) # X维度与输入相同，Y维度与输出相同

输出尺寸： （X) = (1024) # 尺寸与神经元的个数相同

（2）三维扩展模型

输入尺寸： （X) = (5, 5, 64)

单全连接神经元:（X) = (5, 5, 64) # 与输入尺寸完全相同

单神经元输出： (X) = (1) # 所有输入合并，所有通道合并

全连接网络： (X, Y) = (640, 1024) # X维度与输入相同，Y维度与输出相同

输出尺寸： （X) = (1024) # 尺寸与神经元的个数相同

（3）卷积等效网络

输入尺寸： (X) = (5, 5, 64)

卷积核神经元: （X) = (5, 5, 64) # 与输入尺寸必须完全相同，步长为1

卷积核输出： (X) = (1, 1) # 64个通道被合并

卷积网络： (X, Y, Z) = (5，5, 1024) # X维度与输入相同，Y维度与输出相同

输出尺寸： （X, Y) = (1, 1, 1024) # 尺寸与神经元的个数相同

备注：卷积网络要比全连接网络少很多倍的参数。

2.2 卷积核网络

输入尺寸： （X, Y, Z) = (32, 32, 3)

卷积核尺寸： （X, Y） = (2, 2, 3）

卷积核输出尺寸： （X, Y） = (28, 28) # 取决于迭代步长、卷积核尺寸，输入尺寸

卷积核网络尺寸: (X, Y, Z ) = (2, 2, 64) # 其中（n-X, n-Y) 远远小于（i-X, i-Y），（n-Z)与输出支持相同

卷积网络输出尺寸: （X, Y, Z) = (28, 28, 64) #取决于迭代步长、卷积核尺寸，输入尺寸, 卷积核个数

2.3 卷积+全连接网络

第3章全连接网络与卷积网络的性能比较

比较	全连接网	卷积网络
拟合程度	容易过拟合	容易欠拟合
神经元参数个数	与输入数据尺寸一致	非常小，卷积核的大小
单个运算量	取决于输入数据的尺寸	取决于输出数据的尺寸
输入	一维特征向量	三维矩阵