如何解释受限玻尔兹曼机的训练过程？

Posted 2023-03-16

【中文标题】如何解释受限玻尔兹曼机的训练过程？

【英文标题】：How to explain the training process in restricted Boltzmann machine?

【发布时间】：2016-08-17 22:59:03

【问题描述】：

我最近在研究受限玻尔兹曼机（RBM）。

我研究了 G. Hinton 的论文： https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf

在 RBM 中训练图像是为了“提高”网络数据的概率，但我无法解释为什么这是有道理的：我们如何用给定图像训练网络是为了提高它的概率网络

有人能解释一下吗？谢谢。

【参考方案1】：

将 RBM 视为能够生成事物的黑匣子。让我们关注图像域——它现在是一个能够生成任何类型图像的黑盒——显然大多数图像不代表任何东西，它们只是普通的噪声。在训练期间，您正在以这样一种方式拟合 RBM 的内部参数（定义它如何生成事物），即一组给定的训练图像很有可能被生成。换句话说 - 您正在以这样一种方式更改 RBM 的参数，即 RBM 开始生成您选择的图像。在实践中如何实现？通过优化程序。 RBM 被定义为一组权重（因此是恒定数量的浮点数，它们以特定方式交互），因此您可以提出优化问题

maximize_theta PRODUCT_x P(x | theta)

在您的训练样本 x 上，其中 theta 是您的 RBM 权重的集合。解决优化问题的方法有很多，有些使用梯度方法，有些使用其他更专业的技术。他们都有一个共同的目标 - 以这样一种方式改变初始 theta（通常是随机的），它的行为“更多地以你想要的方式”。因此，基于梯度的方法将尝试分析计算要更改的权重，以使您的优化标准（此处为概率）更高一些。它并没有“解决”问题——它通常只是迭代地越来越接近实际的解决方案。