神经网络理论基础

Posted 2021-01-24 long5683

人工神经网络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。 神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。

一、神经网络的分类

     目前神经网络模型的种类相当丰富，已有近40余种神经网络模型。

     典型的神经网络有多层前向传播网络 （BP网络）、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。

根据神经网络的连接方式，神经网络可分为两种形式：

（1）前向网络

     如图所示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。

（2）反馈网络

     该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。

      Hopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以解决寻优问题。

(3) 自组织网络

    网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。

Kohonen网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。

二、神经网络学习算法

        神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法，实现了自适应、自组织和自学习的能力。

       目前神经网络的学习算法有多种，按有无导师分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。

在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。

    再励学习是介于上述两者之间的一种学习方式。

三、最基本的神经网络学习算法：

1、Hebb学习规则

    Hebb学习规则是一种联想式学习算法。生物学家D.O.Hebbian基于对生物学和心理学的研究，认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即

 

Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。

2、Delta（δ）学习规则

假设误差准则函数为：

 

上式称为δ学习规则，又称误差修正规则。

四、神经网络特征及要素

1. 神经网络特征

    神经网络具有以下几个特征：

（1）能逼近任意非线性函数；

（2）信息的并行分布式处理与存储；

（3）可以多输入、多输出；

（4）便于用超大规模集成电路（VISI）或光学集成电路系统实现，或用现有的计算机技术实现；

（5）能进行学习，以适应环境的变化

2 、神经网络要素

        决定神经网络模型性能的三大要素为：

（1）神经元（信息处理单元）的特性；

（2）神经元之间相互连接的形式—拓扑结构；

（3）为适应环境而改善性能的学习规则。