深度学习方法：受限玻尔兹曼机RBM模型求解，Gibbs sampling

Posted 2020-09-29 gccbuaa

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。
技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学增加。

接下来重点讲一下RBM模型求解方法。其有用的依旧是梯度优化方法，可是求解须要用到随机採样的方法。常见的有：Gibbs Sampling和对照散度(contrastive divergence, CD[8])算法。

RBM目标函数

如果给定的训练集合是S={vi}，总数是ns。当中每个样本表示为vi=(vi1,vi2,…,vinv)。且都是独立同分布i.i.d的。RBM採用最大似然预计，即最大化

lnLS=ln∏i=1nsP(vi)=∑i=1nslnP(vi)

參数表示为θ=(W,a,b)，因此统一的參数更新表达式为：

θ=θ+η∂lnLS∂θ

当中，η表示学习速率。因此，非常明显。仅仅要我们能够求解出參数的梯度，我们就能够求解RMB模型了。我们先考虑随意单个训练样本（v0）的情况，即

LS=lnP(v0)=ln(1Z∑he−E(v0,h))=ln∑he−E(v0,h)−ln∑v,he−E(v,h)

当中v表示随意的训练样本，而v0则表示一个特定的样本。

∂LS∂θ=∂lnP(v0)∂θ=∂∂θ(ln∑he−E(v0,h))−∂∂θ(ln∑v,he−E(v,h))=−1∑he−E(v0,h)受限玻尔兹曼机（RBM）理解

SIGAI深度学习第六集 受限玻尔兹曼机

受限玻尔兹曼机基础教程

theano-windows学习笔记十五——受限玻尔兹曼机

受限玻尔兹曼机（RBM）原理总结

受限玻尔兹曼机