word2verctor原型NNLM神经网路语言模型

Posted 2021-09-14 AI算法攻城狮

word2verctor原型是NNLM神经网路语言模型

用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出,NNLM（Nerual Network Language Model）是这方面的一个经典模型，具体内容可参考 Bengio 2003年发表在JMLR上的论文。

论文链接：https://jmlr.org/papers/volume3/bengio03a/bengio03a.pdf

 

 这个模型其实就是一个结构简单的神经网络，MLP模型。输入层，隐藏层（也许有两层，看个人设计），接softmax输出。它的作用是通过前 N-1 个词，推测出第 N 个词是什么。

举个栗子，有一句话 “我今天中午吃的涮羊肉”。这个词要输出模型的话得把它先分词，分词成
”我“， ”今天“，”中午“，”吃的“，”涮羊肉“。要做的事情就是通过”我“， ”今天“，”中午“，”吃的“这四个词，来推测”涮羊肉“这个词。

怎么把这个场景建立模型呢。

输入层