深度学习与图神经网络核心技术实践应用高级研修班-Day1深度学习的发展历史（完整版）

Posted 2021-09-07 ZSYL

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习与图神经网络核心技术实践应用高级研修班-Day1深度学习的发展历史（完整版）相关的知识，希望对你有一定的参考价值。

深度学习的常用模型及方法-深度学习发展历史

1. 深度学习发展历史
2. 深度学习的发展趋势
3. 人工神经网络
4. 模型与算法

1. 深度学习发展历史

深度学习经历三次发展浪潮:

1）20世纪40年代到60年代深度学习的雏形出现在控制论中;
2）20世纪80年代到90年代深度学习表现为联结主义;
3）直到2006年，才真正以深度学习指明复兴。

深度学习的发展历史：

第一代神经网络（1958~1969）

神经网络的思想起源于1943年的MCP人工神经元模型，用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。

1969年，美国数学家及人工智能先驱Minsky在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了近20年的停滞。

第二代神经网络（1986~1998）

第一次打破非线性诅咒：Hinton，其在1986年发明了适用于多层感知器（MLP）的BP算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类和学习的问题。该方法引起了神经网络的第二次热潮。

值得强调的是在1989年以后由于没有特别突出的方法被提出，且NN一直缺少相应的严格的数学理论支持，神经网络的热潮冷却。冰点来自于1991年，BP算法被指出存在梯度消失问题，该发现对此时的NN发展雪上加霜。

1997年，LSTM模型被发明，尽管该模型在序列建模上的特性非常突出，但由于正处于NN的下坡期，也没有引起足够的重视。

第三代神经网络（2006~至今）

该阶段又分为两个时期：快速发展期（2006 ~ 2012）与爆发期（2012~至今）

快速发展期（2006~2012）

2006年，DL元年。Hinton提出了深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化+有监督训练微调。其主要思想是先通过自学习的方法学习到训练数据的结构（自动编码器），然后在该结构上进行有监督训练微调。但是由于没有特别有效的实验验证，该论文并没有引起重视。

2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。

2011年，微软首次将DL应用在语音识别上，取得了重大突破。

爆发期（2012~至今）

2012年，Hinton课题组首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压**第二名（SVM方法）**的分类性能。

2013,2014,2015年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步，促使其在其他领域也在不断的征服战场。

2015年，Hinton，LeCun，Bengio论证了局部极值问题对于DL的影响，结果是Loss的局部极值问题对于深层网络来说影响可以忽略。该论断也消除了笼罩在神经网络上的局部极值问题的阴霾。

2. 深度学习的发展趋势

与日俱增的数据量
随着训练数据的增加，所需的技巧正在减少。在更小的数据集上获得成功是一个主要的研究领域。
与日俱增的模型规模
现在神经网络非常成功的一个重要原因是由于计算网络等硬件的快速发展。模型规模的扩大是深度学习历史中最重要的趋势之一。
与日俱增的精度，复杂度和对现实世界的冲击
深度学习提供精度识别和预测的能力一直在提高。而且，深度学习持续成功被应用于越来越广泛的实际问题中。在以后，深度学习能够出现在越来越多的科学领域。

3. 人工神经网络

人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。

该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

4. 模型与算法

人工神经网络分类

按性能分：
- 连续型和离散型网络，或确定型和随机型网络。
按拓扑结构分：
- 前向网络和反馈网络。

人工神经网络分类

前向(前馈)网络，网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。 有自适应线性神经网络(AdaptiveLinear，简称Adaline)、单层感知器、多层感知器、BP等。

反馈网络，网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。有Hopfield、Hamming、BAM等。

4.1 前馈神经网络

前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。

前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。其中第一层称为输入层。最后一层为输出层．中间为隐含层，简称隐层。隐层可以是一层，也可以是多层。

4.2 前馈神经网络特点

前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。从系统的观点看，前馈网络是一种静态非线性映射．通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。从计算的观点看．缺乏丰富的动力学行为。大部分前馈网络都是学习网络，其分类能力和模式识别能力一般都强于反馈网络。