人工神经网络发展历史及算法应用综述
Posted 卓晴
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了人工神经网络发展历史及算法应用综述相关的知识，希望对你有一定的参考价值。
- 作者：柯悦
简 介： 人工神经网络概念自提起以来,它的发展经历了起起落落,而如今人工神经网络也与各个领域相结合,实现它的价值。人工神经网络主要用来处理分类与回归的问题。决定神经网络发展的三个基本要素主要有:神经元的数学模型、神经元的网络连接方法、以及神经网络学习方法,而将这三者综合起来便是不同的网络模型与算法。
关键词： ANN，算法，应用
§01 人工神经网络
1.1 人工神经网络的发展历史
人工神经网络,是对身体头脑或天然神经网络中某些特征的抽象式思考与仿真,是基于生物神经网络的特征所创建起来的一个能够实现简单数据处理的模式。人工神经网络以对人脑的生理学研究为基础,其目的就是模拟人脑的某些原理和工作机制,以达到某些方面的功能。它与人工智能同时起步，但却没有像人工智能一样蓬勃发展，而是在中间经历了一段低谷时期，之后便进入了平稳的发展时期。
人工神经网络的起源,是在一九五七年由计算机物理学家Rosenblatt首先给出了具备高度学习力的"认知机"模式,实现了由单个神经元到三层神经网络的转换,是目前最早实现的人工神经网络。但后来却因为单层感知机的局限导致许多人放弃了研发,就此,人工神经网络的发展走向低潮。
人工神经网络理论研究的第二个热潮,是由Hopfield在一九八二年发明了一种新型的神经网络模式——HopfNd网络模式,第一次引进了计算机网络中能量函数的定义,并顺利解答了旅行商最优路由(TSP)的提问,这也是ANN理论研究史上一个突破。之后,随着BP算法、遗传算法、模糊神经网络等的发明,以及电脑科学技术、大数据分析、人工智能的发展,让人工神经网络步入了稳步发展时代,并且渐渐与各个学科领域结合。发展让人工神经网络进入了稳步发展时期，并且渐渐与各个学科领域结合。
1.2 人工神经网络的特点
神经网络由大量的神经元,彼此或互相链接而构成。各个节点都代表着一组特别的输入输出函数,也就是触发函数。每二个节点之间的链接信息都代表着某种关于使用该链接信息的加权价值,也就是权重,神经网络就利用了这个方法来模仿人的记忆。
▲ 图1.2.1 人工神经网络的特点
人工神经网络的特色与优势,一般表现在如下三方面:
首先,具备了自学习能力。首先,如果我们通过对一个模型进行练习,可以将输入与对应的输出信息告诉给网络,而网络也将会利用自学习能力,逐渐地学习并识别相应的输入与相应的输出。自学习功能对预测有着非常重大的意义。
第二个,有联系的功能。也就是可以把任意的输入向量集合经过线性或非线性映射,转化为输入输出的向量集合,用人工神经网络的反馈网络也能够进行这种联系。
第三,具有高速寻找优化解的能力。即神经网络在进行动力学演化工作过程获得平稳态时相应的能量函数为最小,因此平稳态也是最佳解。第四，人工神经网络的并行机制结合计算机的工作速度使得问题的处理速度达到惊人的效果。这些优势让人工神经网络在各个领域应用非常广泛。
§02 算法发展
2.1 人工神经网络基础模型
2.1.1 BP神经网络
BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络系统，称为BP算法，它的基础思想是梯度下降法，利用梯度搜寻技能，以期使网络的实际输出值和期望输出值的误差均方差为最小。试图使网络系统的现实输入输出值与预测输出值的误差均方差为最小化。BP网络技术主要是在入口层和出口层的中间添加了一些层神经元,这种神经元称为隐单位,它和外部并不是直观的联系,而其状态的改变,又可以直观影响入口层和出口相互之间的联系,因此每一级都可以有若干个节点。
▲ 图2.1.1 BP网络结构
魏连锁等人提出利用BP神经网络对时钟同步误差进行补偿, 考虑到因为节点移动而时钟精度出现问题，以及误差补偿等因素，结合水下BP网络，从而设计出一个水下传感器时钟算法，经过实验得证该算法的误差明显小于其他算法。
李鑫星等人采用局部点云和BP神经网络相结合的苹果树剪枝体系，通过输入的树枝形态等参数，利用BP网络判定是否需要修建以及对不同的树枝进行分类。通过实验得出结果整体符合要求。该体系实现了对苹果树剪枝环节的数字化管理和自动化剪枝,为水果科学剪枝技术提供了更安全可靠的开发工具。
1999年夏爱国通过对一些改进型BP算法进行了深入研究，找到了上述改进 算法的特点及使用范围，并给出了一种系统控制训练算法(SBP)，还通过对经典的XOR问题，和实际的航空发动机起车数据的自联想问题的实际建网,更进一步证实了这种计算的效果。利用该算法训练建网不但比标准BP算法有着快得多的收敛速度，相比其他一些改进算 法也都有着更快的收敛速度；同时由于该算法中加入了跳出平台模块可使训练过程不至于停滞在平台区，可保证训练的正常进行。
2010年樊海玮、张国翊等人根据传统BP算法抗干扰能力较差、学习速率缓慢而且易进入局部极小值等缺点，发明了一个能够通过变更传递函数倾斜度和动态调整不同学习速率的BP改进算法。
2.1.2 CNN模型
卷积神经网络由具有可学习的权重和偏置常量的神经元所构成，一般会使用卷积神经网络对图像进行识别，所以，它的输入一般是图像，CNN通过训练数据来学习网络结构中的权重和神经元，从而能把输入的图片正确分类。卷积神经网络在迭代中分布趋势会有所改变，这就需要不断地进行学习和训练，会出现梯度消失以及效率的下降等问题。
▲ 图2.1.2 CNN 网络结构
陈彩虹,王诚在2020年故障预测研发中采用了改进的CNN深度算法，在传统的CNN算法基础上，使用随机梯度下降方法的优化训练模型，在优化时利用检测目标函数值随时间的学习曲线变化来选择学习率，从而使得改善后的预测方案在各种分析技术指标上都具备了较好的准确度。
2022年蔚超、邓洁清等人在变电站智能消防监测技术的研究中针对CNN的梯度消失和效率下降问题在传统的CNN 中新增一个调优层,从而控制输入层的值呈现正态分布使用,提高了模型的效率。
2.1.3 Hopfield网络模型
Hopfield网络一般用于聚类，具有联想记忆功能以及处理优化问题的能力。它的缺点是容易陷入局部极小值，记忆容量的有限性，当记忆样本较接近时，网络不能始终回忆出正确的记忆等。
潘园园、张力等人在2011年利用离散Hopfield网络系统模拟识别手写数字，结果显示尽管小型得Hopfield神经网络非常适合二进制图像识别问题，但由于神经元模型的所有相互耦合矩阵均为给定的权矩阵, 并不存在自适应性, 因此须对自适应的耦合系数及随机相互耦合网络做更深入的动力学解析。
▲ 图2.1.3 相互连接的NN
曹瑾、刘晓芬在2021年采用量子遗传算法优化了离散Hopfield神经网络权重与阈值，自主地选取并引导优化解的方向,从而减少了进入局部最优预测解的几率,从而使得在军事训练效果与评价的搜索过程中具备了计算简便、收敛速率快、全局寻优性强和寻优效率好等优势。它的缺点是所占空间大以及运算的周期较长、运行效率低。
2.2 人工神经网络智能仿生算法
2.2.1 遗传算法
遗传算法则是利用模拟自然界达尔文的进化论来寻找最优解,它经过筛选、交叉、突变这三种过程选出最佳的个体，不断地迭代以上步骤，这样使每一个新个体形成最优解，直至最后选出问题的最优解，在求解较为复杂的优化问题时，与常规算法相比，具有较好的结果。
▲ 图2.2.1 遗传算法模拟的DNA的演变
2.2.2 狼群算法
狼群计算主要由探狼游走、头狼召唤、猛狼围困这三种智慧行动所构成,按照胜者为王、选优淘劣的原则进行,虽然算法会淘汰目标函数值较差的弱狼,但头狼的目标函数值却会由于按照胜者为王的原则而显得更强,最后判定头狼的目标函数值能否满足最大精度条件,或者算法能否满足最大迭代次数条件来进行最优化求解。狼群算法很易于进入局部优化,因此全局搜索能力也会不足。
▲ 图2.2.2 狼群
2.2.3 粒子算法
粒子群算法是指使用群体中的个体通过对信息的相互分配,使整体集群的运动在问题解决空间中,形成由无序到有序的演进流程,进而获得对问题的有效解决。每个个体的最佳位置都相当于局部最优解,而鸟群中所有个体的最佳位置也可以看作全局最优解,这样通过不断迭代逼近问题的最优解。它的优点是实现容易、精度高、收敛快。它的主要缺陷是局部搜寻能力较差,易于进入局部极值,且搜寻的准确度较低。
▲ 图2.2.3 粒子算法示例
2.2.4 蚁群算法
蚁群算法是指利用蚂蚁的步行途径描述待优化提问的可行性解,利用完整蚁集群的每个路径组成待优化提问的求解空间。并利用信息素的更新来实现正反馈机理,从而导致寻找流程的进一步收敛,结果接近较优解。该算法简洁,且有更高的自适应能力和很好的鲁棒性。它的主要缺点是收敛速度慢、易于进入局部最优化,而且算法的统计实际操作量很大,求解所需时间较长。
▲ 图2.2.4 蚁群算法示例
2.2.5 智能仿生算法改进
各种智能算法都有相应的优缺点并且有各自适应的问题领域,通常会采用改进的仿生算法来解决相应的问题,或者将不同的仿生算法结合起来达到较好的结果。
鲁飞、鲁照权等人在2022年以路径的适应度值为优化标准，引入了夹角因素和可行性因素并对蚁群算法加以改进，从而解决了搜索效果低下,易进入局部最优等的问题。
宫月红、张少军等人在2020年提出一种遗传-粒子群混合算法，在传统PSO的基础上，引入GA中变异、交叉思想，同时按照算法得迭代次数对惯性权重进行自适应调整，以防止整个计算过程陷入局部最优求解,从而提高解的准确度,并提高收敛速率。
▲ 图2.2.5 工业机器人
王豪、赵学军等人于2022年对自适应遗传算法做出了改进，通过设计一个新的适应度函数，同时也对遗传操作方式做出了改进,从而得出该算法在复杂的情形下,依然可以迅速进行最优求解,针对工业机器人的路线规划问题,得到的路径相较于已有算法更短。
刘邦、曲鸿春等人在2021年提出基于狼群算法解调中心波长，并引入学习因子和变异系数，跳出局部极值以增强全局搜索能力，对多个FBG复用系统进行解调，提高了解调精度。
§03 ANN应用
人工神经网络独特的非线性适应性数据处理能力,使其在各个行业中使用普遍,近些年来,人工神经网络主要是在模式识别、信息处理、机器人控制等领域发挥它的作用。
（1）模式识别
模式识别是指利用电子计算机将某些一定量度或观测基准上待知模型分类到相应的模类中去。张福明、李洪奇等人应用神经网络模式识别研制相应软件，在沉积微相自动识别工作中取得了较好的结果。李涛、钟玉琴、曲明亮采用神经网络模式识别方法对红景天品种进行准确的识别分类。
▲ 图3.1 人工神经网络进行模式识别
（2）信息处理
人工神经网络利用计算机的处理速度可以实现许多智能化的系统,在医学、军事、工程等领域被广泛使用。熊和金、刘祖源等运用神经网络在水面目标的雷达、红外线和声纳检测,并结合信息处理技术来解决了现代水面交通安全中遇到的一系列问题。马俊骏、李建华等人以无人机数据处理为背景,构造出了一个基于卷积神经网络计算的数据处理能力改进模式,进而优化了无人机数据处理能力,进而有效提升了无人机总体作战效率。
▲ 图3.2 四旋翼无人机
（3）机器人控制
机器人在现实生活中的自由运行、人机交互等方面真正模仿人体的特点是相当艰难的事,而运用了神经网络,加州大学伯克利分校的学者们就设想出了一个神经网络动力学模型,让一个六足机器人在十七分钟内就可以学会沿着理想的轨道运动。这种利用神经网络来使机器人达到真正的类人效果是非常有潜力的一项任务。
▲ 图3.3 运动的麦克纳姆轮机器人
§04 结 论
人工神经网络发展至今，已经有许多的算法被提出来来处理相应的问题，它的使用也十分普遍，尽管神经网络的影响如此之大，但还是有一定局限：神经网络需要大量的数据准备、神经网络在信息概括方面不是很好、以及神经网络是不透明的。这些局限性是我们需要克服的。
目前人工神经网络的算法更多的是在传统的算法上进行改进优化、或者不同算法相结合的模式来处理问题，但我们更多的是需要创新出新的算法，来是神经网络发挥出它最大的潜力。
4.1 参考文献
[1]李朝静,唐幼纯,黄霞.BP神经网络的应用综述[J].劳动保障世界,2012(16):71-74.
[2]王祎,贾文雅,尹雪婷,张亮明,白艳明.人工神经网络的发展及展望[J].智能城市,2021,7(08):12-13.
[3]张驰,郭媛,黎明.人工神经网络模型发展及应用综述[J].计算机工程与应用,2021,57(11):57-69.
[4]张驰,郭媛,黎明.人工神经网络模型发展及应用综述[J].计算机工程与应用,2021,57(11):57-69.
[5]窦嘉铭.浅谈自然辩证法视角下人工神经网络发展历程[J].电脑知识与技术,2021,17(01):202-204+207.
[6]彭驿茹.人工神经网络发展历史与训练算法概述[J].科技传播,2018,10(21):129-130.
※ 综述评论 ※
人工神经网络概念自提起以来,它的发展经历了起起落落,而如今人工神经网络也与各个领域相结合,实现它的价值。人工神经网络主要用来处理分类与回归的问题。决定神经网络发展的三个基本要素主要有:神经元的数学模型、神经元的网络连接方法、以及神经网络学习方法,而将这三者综合起来便是不同的网络模型与算法。
目前较为常用的网络模型主要有:多层网BP算法,卷积式神经网络,递归神经网络,以及Hopfield网络模型,自组织特征映射理论等。而通过查阅文献可以看出虽然目前人工神经网络的应用非常广泛,但没有提出太多创新的算法,更多的是在之前经典算法的基础上提出改进。本章将重点介绍人工神经网络的发展历程以及最新的模型算法改进、它在各个领域的应用这三个方面进行描述。
● 相关图表链接: