[人工智能-深度学习-33]:卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解

Posted 文火冰糖的硅基工坊

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[人工智能-深度学习-33]:卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解相关的知识,希望对你有一定的参考价值。

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120893764


目录

第1章 卷积神经网络基础

1.1 卷积神经发展与进化史

1.2 卷积神经网络的核心要素

1.3 卷积神经网络的描述方法

1.4 人工智能三巨头  + 华人圈名人

第2章 LeNet概述

第3章 LeNet-5网络结构分析

3.1 网络结构描述-垂直法

3.2 网络结构描述-厚度法

3.3 分层解读

3.4 分析结果示意



第1章 卷积神经网络基础

1.1 卷积神经发展与进化史

 AlexNet是深度学习的起点,后续各种深度学习的网络或算法,都是源于AlexNet网络。

[人工智能-深度学习-31]:卷积神经网络CNN - 常见卷积神经网络综合比较大全_文火冰糖(王文兵)的博客-CSDN博客作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:第1章 人工智能发展的3次浪潮1.1人工智能的发展报告2011-2020资料来源:清华大学、中国人工智能学会《人工智能的发展报告2011-2020》,赛迪研究院、人工智能产业创新联盟《人工智能实践录》,中金公司研究部► 第一次浪潮(1956-1974年):AI思潮赋予机器逻辑推理能力。伴随着“人工智能”这一新兴概念的兴起,人们对AI的未来充满了想象,人工智能迎来第一次发展浪潮。这.https://blog.csdn.net/HiWangWenBing/article/details/120835303

1.2 卷积神经网络的核心要素

[人工智能-深度学习-27]:卷积神经网络CNN - 核心概念(卷积、滑动、填充、参数共享、通道)_文火冰糖(王文兵)的博客-CSDN博客作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:目录第1章 卷积中的“积”的定义第2章 卷积中的“卷”的定义第3章 填充第4章 单个卷积核的输出第5章 多个卷积核的输出第6章 卷积对图形变换第7章 池化层第8章 全连接的dropout第1章 卷积中的“积”的定义第2章 卷积中的“卷”的定义stride:反映的每次移动的像素点的个数。第3章 填充...https://blog.csdn.net/HiWangWenBing/article/details/120806277

1.3 卷积神经网络的描述方法

[人工智能-深度学习-28]:卷积神经网络CNN - 网络架构与描述方法_文火冰糖(王文兵)的博客-CSDN博客作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:目录第1章 什么是卷积神经网络第2章 卷积神经网络的描述方法第3章 卷积神经网络的本质第4章 卷积神经网络的总体框框第5章卷积神经网络的发展与常见类型与分类第6章 常见的卷积神经网络6.1 AlexNet6.2 VGGNet6.3 GoogleNet: inception结构6.4 google net6.5 ResNet第7章 常见图形训练库第1.https://blog.csdn.net/HiWangWenBing/article/details/120806599

1.4 人工智能三巨头  + 华人圈名人

Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖。

杰弗里·埃弗里斯特·辛顿(Geoffrey Everest Hinton),计算机学家、心理学家,被称为“神经网络之父”、“深度学习鼻祖”。Hinton是机器学习领域的加拿大首席学者,是加拿大高等研究院赞助的“神经计算和自适应感知”项目的领导者,是盖茨比计算神经科学中心的创始人,目前担任多伦多大学计算机科学系教授。2013年3月,谷歌收购 Hinton 的公司 DNNResearch 后,他便随即加入谷歌,直至目前一直在 Google Brain 中担任要职。

Yoshua Bengio是蒙特利尔大学(Université de Montréal)的终身教授,任教超过22年,是蒙特利尔大学机器学习研究所(MILA)的负责人,是CIFAR项目的负责人之一,负责神经计算和自适应感知器等方面,又是加拿大统计学习算法学会的主席,是ApSTAT技术的发起人与研发大牛。Bengio在蒙特利尔大学任教之前,是AT&T贝尔实验室 & MIT的机器学习博士后。

Yann LeCun,担任Facebook首席人工智能科学家和纽约大学教授,1987年至1988年,Yann LeCun是多伦多大学Geoffrey Hinton实验室的博士后研究员。

第2章 LeNet概述

LeNet神经网络由上述深度学习三巨头之一的Yan LeCun提出。

如果说Hinton是深度学习之父,那么Yan LeCun就是卷积神经网络 (CNN,Convolutional Neural Networks)之父。

LeNet主要用它来进行手写字符的识别与分类,并在美国的银行中投入了使用。

LeNet的实现确立了CNN的结构,现在神经网络中的许多内容在LeNet的网络结构中都能看到,例如卷积层,Pooling层,ReLU层。

虽然LeNet早在20世纪90年代就已经提出了,但由于当时缺乏大规模的训练数据,计算机硬件的性能也较低,因此LeNet神经网络在处理复杂问题时效果并不理想。

虽然LeNet网络结构比较简单,但是刚好适合神经网络的入门学习。

第3章 LeNet-5网络结构分析

LeNet-5共有7层,不包含输入,每层都包含可训练参数;每个层有多个Feature Map,每个FeatureMap通过一种卷积滤波器提取输入的一种特征,然后每个FeatureMap有多个神经元,最后进行10分类。

3.1 网络结构描述-垂直法

3.2 网络结构描述-厚度法

3.3 分层解读

(0)输入层:

  • 32 * 32 * 1

(1)C1层(卷积层1):28×28 * 6

  • 卷积核尺寸:5 * 5
  • 步长:1
  • 特征图尺寸:28 * 28
  • 卷积核个数:6
  • 参数个数:(5 * 5 + 1) * 6
  • 计算量:(5 * 5 + 1) * (28 * 28 )* 6

(2)降采样1:14 * 14 * 6

  • 类型:平均
  • 降采样输出:14 * 14 * 6
  • 降低比例:14/28 = 1/2

(3)C2层(卷积层1):10×10 * 16

  • 卷积核尺寸:5 * 5
  • 步长:1
  • 特征图尺寸:10 * 10
  • 卷积核个数:16
  • 参数个数:(5 * 5 + 1) * 16
  • 计算量:(5 * 5 + 1) * (10* 10)* 6

(4)降采样2

  • 类型:平均
  • 降采样输出:5 * 5 * 16
  • 降低比例: 5/10 = 1/2

(5)全连接1:

  • 输入:5 * 5 * 16 = 160
  • 神经元:120
  • 输出:120
  • 激活函数 :无

(6)全连2:

  • 输入:160
  • 神经元:84
  • 输出:84
  • 激活函数 :无

(7)全连接3

  • 输入:86
  • 神经元:10
  • 输出:10
  • 激活函数 :softmax

3.4 分析结果示意


作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120893764

以上是关于[人工智能-深度学习-33]:卷积神经网络CNN - 常见分类网络- LeNet网络结构分析与详解的主要内容,如果未能解决你的问题,请参考以下文章

[人工智能-深度学习-24]:卷积神经网络CNN - CS231n解读 - 卷积神经网络基本层级

[人工智能-深度学习-37]:卷积神经网络CNN - 重构神经网络的疑惑与思考?

[人工智能-深度学习-26]:卷积神经网络CNN - 为啥要卷积神经网络以及卷积神经网络的应用

[人工智能-深度学习-28]:卷积神经网络CNN - 网络架构与描述方法

[人工智能-深度学习-32]:卷积神经网络CNN - 常见分类网络- AlexNet

[人工智能-深度学习-31]:卷积神经网络CNN - 常见卷积神经网络综合比较大全