LDA的Gibbs Sampling求解
Posted coshaho
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LDA的Gibbs Sampling求解相关的知识，希望对你有一定的参考价值。
《LDA数学八卦》对于LDA的Gibbs Sampling求解讲得很详细，在此不在重复在轮子，直接贴上该文这部分内容。
Gibbs Sampling
批注：
1、 对于第i个词语，上式k（主题类型）未知，取值范围为[1, K]，t（词语类型）已知，即观测值。
2、 由于doc-topic与topic-word独立，所以第i个词语主题为k，类型为t的概率显然是主题k概率在doc m-topic分布上的积分乘以词语t概率在topic k-word分布上的积分。即
。
批注：我们已经得到了每个topic-word的边缘分布，通过Gibbs Sampling很容易得到topic-word的完整分布。
Training And Inference
以上是关于LDA的Gibbs Sampling求解的主要内容，如果未能解决你的问题，请参考以下文章
随机采样和随机模拟：吉布斯采样Gibbs Sampling的具体实现
深度学习方法：受限玻尔兹曼机RBM模型求解，Gibbs sampling