[人工智能-深度学习-31]：卷积神经网络CNN - 常见卷积神经网络综合比较大全

Posted 2021-11-07 文火冰糖的硅基工坊

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120835303

---

目录

第1章 人工智能发展的3次浪潮

1.1 人工智能的发展报告2011-2020

1.2 来自其他途径

第2章 神经网络的演进历史

2.1 卷积神经网络进化史

2.2 深度神经网络大全

2.3 如何描述网络

第3章 网络指标比较

3.1 复杂度比较

3.2 准确率比较

3.3 错误率比较

3.4 不同网络参数运算比较

3.5 综合比较

3.6 参数量的计算方法

---

第1章 人工智能发展的3次浪潮

1.1 人工智能的发展报告2011-2020

资料来源：清华大学、中国人工智能学会《人工智能的发展报告2011-2020》，赛迪研究院、人工智能产业创新联盟《人工智能实践录》，中金公司研究部

► 第一次浪潮（1956-1974年）：AI思潮赋予机器逻辑推理能力。伴随着“人工智能”这一新兴概念的兴起，人们对AI的未来充满了想象，人工智能迎来第一次发展浪潮。这一阶段，人工智能主要用于解决代数、几何问题，以及学习和使用英语程序，研发主要围绕机器的逻辑推理能力展开。其中20世纪60年代自然语言处理和人机对话技术的突破性发展，大大地提升了人们对人工智能的期望，也将人工智能带入了第一波高潮。

但受限于当时计算机算力不足，同时由于国会压力下美英政府于1973年停止向没有明确目标的人工智能研究项目拨款，人工智能研发变现周期拉长、行业遇冷。

► 第二次浪潮（1980-1987年）：专家系统使得人工智能实用化。最早的专家系统是1968年由费根鲍姆研发的DENDRAL系统，可以帮助化学家判断某特定物质的分子结构；DENDRAL首次对知识库提出定义，也为第二次AI发展浪潮埋下伏笔。20世纪80年代起，特定领域的“专家系统”AI程序被更广泛的采纳，该系统能够根据领域内的专业知识，推理出专业问题的答案，AI也由此变得更加“实用”，专家系统所依赖的知识库系统和知识工程成为了当时主要的研究方向。

然而专家系统的实用性只局限于特定领域，同时升级难度高、维护成本居高不下，行业发展再次遇到瓶颈。1990年人工智能DARPA项目失败，宣告AI的第二次浪潮步入低谷。不过，同时期BP神经网络的提出，为之后机器感知、交互的能力奠定了基础。

► 第三次浪潮（1993年至今）：深度学习助力感知智能步入成熟。不断提高的计算机算力加速了人工智能技术的迭代，也推动感知智能进入成熟阶段，AI与多个应用场景结合落地、产业焕发新生机。2006年深度学习算法的提出、2012年AlexNet在ImageNet训练集上图像识别精度取得重大突破，直接推升了新一轮人工智能发展的浪潮。2016年，AlphaGo打败围棋职业选手后人工智能再次收获了空前的关注度。从技术发展角度来看，前两次浪潮中人工智能逻辑推理能力不断增强、运算智能逐渐成熟，智能能力由运算向感知方向拓展。目前语音识别、语音合成、机器翻译等感知技术的能力都已经逼近人类智能。

1.2 来自其他途径

（1）第三层浪潮源于深度学习革命性的发展。

（2）卷积神经网络又是深度学习中最重要的动力之一。

第2章 神经网络的演进历史

2.1 卷积神经网络进化史

（1）AlexNet是深度学习的起点，后续各种深度学习的网络或算法，都是源于AlexNet网络。

（2）ResNet和inception称为一个2016年的巅峰。

（3）新的网络还在不断的涌现

2.2 深度神经网络大全

2.3 如何描述网络

（1）网络架构（结构）

• 串联
• 并联
• 跳联

（2）网络层数

• 卷积层
• 池化层
• 激活函数
• 全连接层
• 归一化

（3）网络参数量大小

• 模型参数个数
• 模型文件或内存大小
• 模型计算机大小

（4）准确率提升

• Top-1的准确率
• Top-5的错误率
• 与人的识别率的比较

第3章 网络指标比较

3.1 复杂度比较

3.2 准确率比较

3.3 错误率比较

3.4 不同网络参数运算比较

 横坐标：操作运算量

纵坐标：Top-1的准确率

在上图中，inception-3 & inception-4、Restnet-101 & Restnet-152在准确率和网络运算量之间取得了较好的平衡，即准确率高、运算量小。

3.5 综合比较

3.6 参数量的计算方法

 

---

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120835303