DL:Hopfield 神经网络

Posted happy_XYY

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DL:Hopfield 神经网络相关的知识,希望对你有一定的参考价值。

 

 Hopfield 神经网络(DHNN)


在学习Hintonstack autoencoder算法(论文 Reducing the Dimensionality of Data with Neural Networks)之前需要了解什么是RBM,现在就我学习的情况,查找的资料(大部分来自博客、论文),简单介绍一下RBM(当然,这里面还有同组实验的同学提供的资料,借用一下。。。)


目录


RBM简介、网络结构


Hopfield 神经网络


RBM能量模型


RBM学习算法——Gibbs采样、变分方法、对比散度、模拟退火


RBM训练算法


RBM评估





1、简介


        1982年,J.Hopfield提出了可用作联想存储器的互连网络,这个网络称为Hopfield网络模型,也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络,从输出到输入有反馈连接。


       

        反馈神经网络由于其输出端又反馈到其输入端;所以,Hopfield网络在输入的激励下,会产生不断的状态变化。当有输入之后,可以求取出Hopfield的输出,这个输出反馈到输入从而产生新的输出,这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦到达了稳定平衡状态;那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说,关键是在于确定它在稳定条件下的权系数。(无自反馈的权系数对称的Hopfield网络是稳定的网络


       Hopfield最早提出的网络是二值神经网络,神经元的输出只取1和0这两个值,所以,也叫离散Hopfield神经网络。在离散HopfieId网络中,所采用的神经元是二值神经元;故而,所输出的离散值1和0分别表示神经元处于激活和抑制状态。它保证了向局部极小的收敛,但收敛到错误的局部极小值(local minimum),而非全局极小(global minimum)的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。



2、Hopfield 神经网络



首先考虑由三个神经元组成的离散Hopfield神经网络,其结构如图1-13所示

在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输人信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效,如果神经元的输出信息大于阈值θ,那么,神经元的输出就取值为1;小于阈值θ,则神经元的输出就取值为θ







 

 


参考文档下载地址


 

以上是关于DL:Hopfield 神经网络的主要内容,如果未能解决你的问题,请参考以下文章

离散Hopfield神经网络的分类——高校科研能力评价

Hopfield 神经网络无法识别

TSP问题—Hopfield神经网络算法

我的 Hopfield 神经网络解决旅行商问题有啥问题?

多层感知机MLPRBF网络Hopfield网络自组织映射神经网络神经网络算法地图

Hopfield神经网络