受限制玻尔兹曼机RBM原理简介

Posted 2022-12-09 luchi007

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了受限制玻尔兹曼机RBM原理简介相关的知识，希望对你有一定的参考价值。

引言

受限玻尔兹曼机RBM在深度学习领域一直有重要的应用，之前一直没有接触过RBM，觉得太复杂，公式太多，这几天在Google上找到些好的turtorial，可以在这里做一个总结。

玻尔兹曼机BM

BM背景

Boltzmann machines（BM）是Markov Random Fields with pairwise interaction potentials. 这里的potential，也就是势能，是来源于物理的应用。BM和多层神经网络有着相似的结构，而且BM中的节点值是二值的(非0即1),BM的节点是成对作用的，Hinton使用了基于采样的方法用于BM的训练，使得BM能够被应用到具体问题。

玻尔兹曼分布(Boltzmann Distribution)

玻尔兹曼分布最开始是由Gibbs在统计原理里面提出来的，

P(x)=1Zexp(−E(x)) $P(x) = \\frac1Zexp(-E(x))$ ,其中

E(x) $E(x)$ 是变量

x $x$ 的能量，这里的能量仅仅是对应了物理学的概念，并没有额外的意义。

E(x)=−θTf(x)=∑j=1mθjfj(x) $E(x)=-\\theta^Tf(x)=\\sum_j=1^m\\theta_jf_j(x)$ ,在统计原理里面，

x $x$ 经常是成对的，所以

E(x) $E(x)$ 是描述了

x $x$ 对的“势能”。

玻尔兹曼机结构

玻尔兹曼机是二值的马尔科夫随机场(Markov Random Filed)，一个玻尔兹曼机可以表示为带权重的无向图：

如上图所示，对于有n个节点的无向图，由于每个节点是二值的，所以一共有 $2^n$ 个状态，对于一个节点 $x_i$ ，其值为1 的时候表示这个节点是’on’，其值为1的时候表示这个节点是’off’，对于一个状态向量 $x$ ,也就是长度为 $n$ 的向量，表示这个图 $n$ 个节点的状态，其能量值为: $E(x) = -b^Tx-x^TWx = -\\sum_j=1^nb_jx_j-\\sum_i,jx_iW_i,jx_j$ ， $x$ 的概率分布为： $P(x)=\\frac1Zexp(-E(x))\\\\Z= \\sum_x^\'exp(-E(x^\'))$ ,在这里， $b$ 表示的长度为 $n$ 的偏置向量， $W$ 是 $n*n$ 的连接矩阵， $W_i,j$ 表示的是节点 $i$ 和节点 $j$ 的连接权值，当然这里的矩阵乘积有几点需要注意，因为无向图的两个节点的连接权值只有一个，因此严格意义上来说， $E(x)=-\\sum_j=1^nb_jx_j-\\sum_i<jx_ix_jw_i,j$ .

可见节点和隐含节点

典型的BM有可见节点(Visible Node)和隐含节点(Hidden Node)，可见节点后面使用 $v$ 表示,隐含节点用 $h$ 表示，接着上文， $x$ 可以表示为受限制玻尔兹曼机(RBM)用于电影推荐小例