DL:Hopfield 神经网络
Posted happy_XYY
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DL:Hopfield 神经网络相关的知识,希望对你有一定的参考价值。
Hopfield 神经网络(DHNN)
在学习Hinton的stack autoencoder算法(论文 Reducing the Dimensionality of Data with Neural Networks)之前需要了解什么是RBM,现在就我学习的情况,查找的资料(大部分来自博客、论文),简单介绍一下RBM。(当然,这里面还有同组实验的同学提供的资料,借用一下。。。)
目录
RBM学习算法——Gibbs采样、变分方法、对比散度、模拟退火
1、简介
1982年,J.Hopfield提出了可用作联想存储器的互连网络,这个网络称为Hopfield网络模型,也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络,从输出到输入有反馈连接。
反馈神经网络由于其输出端又反馈到其输入端;所以,Hopfield网络在输入的激励下,会产生不断的状态变化。当有输入之后,可以求取出Hopfield的输出,这个输出反馈到输入从而产生新的输出,这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦到达了稳定平衡状态;那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说,关键是在于确定它在稳定条件下的权系数。(无自反馈的权系数对称的Hopfield网络是稳定的网络)
Hopfield最早提出的网络是二值神经网络,神经元的输出只取1和0这两个值,所以,也叫离散Hopfield神经网络。在离散HopfieId网络中,所采用的神经元是二值神经元;故而,所输出的离散值1和0分别表示神经元处于激活和抑制状态。它保证了向局部极小的收敛,但收敛到错误的局部极小值(local minimum),而非全局极小(global minimum)的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。
2、Hopfield 神经网络
首先考虑由三个神经元组成的离散Hopfield神经网络,其结构如图1-13所示
在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输人信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效,如果神经元的输出信息大于阈值θ,那么,神经元的输出就取值为1;小于阈值θ,则神经元的输出就取值为θ
以上是关于DL:Hopfield 神经网络的主要内容,如果未能解决你的问题,请参考以下文章