25[NLP训练营]Model Estimation

Posted 2021-06-27 oldmao_2001

文章目录

• 前言
• • 频率派
  • • MLE
    • MAP
    • 小结
  • 贝叶斯派
• 计算$p(\theta |D)$

公式输入请参考： 在线Latex公式

前言

Model Estimation实际上是属于Bayesion model的范畴，所涉及到具体算法或者模型有：LDA、MMSB、Bayesion MF、Bayesion NN/LSTM/Bert/Transformer。
大概有两个流派，一些更具体的推导看这里：

频率派

MLE

要从训练数据D中估计出最好的参数${\theta }^{\ast }$，最大化likelihood：
$${\theta }^{\ast }=arg\underset{\theta }{\max }p(D|\theta )$$
然后用求到的参数${\theta }^{\ast }$和新样本$x^{\prime }$来预测新的$y^{\prime }$
$$p(y^{\prime }|x^{\prime },{\theta }^{\ast })$$

MAP

也是要估计估计出最好的参数${\theta }^{\ast }$，但是和MLE不一样的是MAP是要最大化后验概率：
$$\begin{array}{rl}{\theta }^{\ast }& =arg\underset{\theta }{\max }p(\theta |D)\\ & =arg\underset{\theta }{\max }p(D|\theta )p(\theta )\end{array}$$
从上面的推导我们可以看到，MAP既考虑了likelihood，又考虑了先验概率$p(\theta )$
然后用求到的参数${\theta }^{\ast }$和新样本$x^{\prime }$来预测新的$y^{\prime }$
$$p(y^{\prime }|x^{\prime },{\theta }^{\ast })$$

小结

无论是MLE还是MAP，都是设计一个目标函数，通过训练和学习，模型最后估算出一个最优解。

贝叶斯派

贝叶斯派不是想要求某一个最优解，而是考虑所有的参数$\theta$，如果参数$\theta$属于某个参数空间，那么贝叶斯派的预测过程可以写为：
$${\int }_{\theta }p(y^{\prime }|x^{\prime },\theta )\cdot p(\theta |D)d\theta$$
上式中，预测值和参数：$x^{\prime },\theta$都是已知的，求的是所有可能的$\theta$的情况。对于训练集$D$，参数$\theta$的分布表示为$p(\theta |D)$，这个相当于模型的参数$w$，不同的参数分布不一样，$w$也不一样，$w$也就是不同参数对应的权值，然后积分起来（离散情况下就是加权累加）。整个模型不是去学习$\theta$具体的值，而是学习$p(\theta |D)$这个概率。
由于$\theta$属于某个参数空间，是有无穷多个的，因此我们经常采用采样的方式选取一部分出现概率最高的$\theta$来进行积分。

计算$p(\theta |D)$

上面的预测过程就是要计算$p(\theta |D)$，展开：
$$\begin{array}{rl}p(\theta |D)& =\frac{p(D|\theta \cdot p(\theta ))}{p(D)}\\ & =\frac{p(D|\theta \cdot p(\theta ))}{{\int }_{\theta }p(D,\theta )d\theta }\\ & =\frac{p(D|\theta \cdot p(\theta ))}{{\int }_{{\theta }_1}{\int }_{{\theta }_2}{\int }_{{\theta }_3}\cdots {\int }_{{\theta }_n}p(D,\theta )d\theta }\end{array}$$
上式中n为$\theta$的维度，第二个等号用的边缘化公式。最后一个式子的分母非常难计算（exact inference），因此要采用近似的计算方法（approximate inference）。
近似计算用到了蒙特卡罗采样的原理，由于$\theta$属于某个参数空间，是有无穷多个的值，因此我们对这个空间进行采样（可以重复采），用样本来近似计算。
$$\begin{gathered} {\int }_{\theta }p(y^{\prime }|x^{\prime },\theta )\cdot p(\theta |D)d\theta \\ \approx \frac{1}{S}\sum _{s=1}^{S}p(y^{\prime }|x^{\prime } \end{gathered}$$

训练模型以识别文本中的情绪 3 NLP 零到英雄 Training a model to recognize sentiment in text

NLP pretrained model

使用 scikit-learn 为 NER 训练 NLP 对数线性模型

NLP实战 | 使用《人民的名义》的小说原文训练一个word2vec模型

1.25-30号《虢海平NLP亲子导师班》：让爱流动

第一天：第5期《虢海平NLP亲子导师班》现场播报