深度学习与图神经网络核心技术实践应用高级研修班-Day1受限波尔兹曼机和深度信念网络

Posted 2021-09-07 ZSYL

深度学习的常用模型及方法-受限波尔兹曼机和深度信念网络

• 1. 受限玻尔兹曼机
• • 1.1 受限玻尔兹曼机原理
  • 1.2 受限玻尔兹曼机实现
• 2. 深度信念网络
• • 2.1 深度信念网络原理

1. 受限玻尔兹曼机

受限玻尔兹曼机（RBM，Restricted Boltzmann machine）由多伦多大学的 Geoff Hinton 等人提出，它是一种可以用于降维、分类、回归、协同过滤、特征学习以及主题建模的算法。

1.1 受限玻尔兹曼机原理

RBM可以被看做是一个自编码器。

• 从可见层到隐藏层的输入样本，W，a用Sigmoid激活的过程就是编码；
• 从隐藏层到可见层的神经元值和W，b的过程就是解码；
• 优化期望差距尽可能小，迭代最后得到模型。

1.2 受限玻尔兹曼机实现

由于梯度下降计算量太大，可以采用Gibbs采样方法来模拟计算求解每个样本的梯度损失再求梯度和。

Gibbs的作用是用来估计负梯度似然函数和在训练完模型之后进行采样，来看模型对数据的拟合以及网络中间隐含层的抽象效果。

2. 深度信念网络

深度信念网络（Deep Belief Network, DBN）由多个RBM组成的一个神经网络。

2.1 深度信念网络原理

DBN遵循逐层进行训练的过程，通过隐层提取特征使后面层次的训练数据更加有代表性，通过可生成新数据能解决样本量不足的问题。

逐层的训练过程如下：

1. 最底部RBM以原始输入数据进行训练；
2. 将底部RBM抽取的特征作为顶部RBM的输入继续训练；
3. 重复这个过程训练以尽可能多的RBM层

加油!

感谢!

努力!