python应用实战系列-一文教你深入解读word2vec

Posted 2021-07-06 文宇肃然

语言模型是自然语言处理的核心概念之一。word2vec是一种基于神经网络的语言模型，也是一种词汇表征方法。word2vec包括两种结构：skip-gram（跳字模型）和CBOW（连续词袋模型），但本质上都是一种词汇降维的操作。

word2vec

 我们将NLP的语言模型看作是一个监督学习问题：即给定上下文词，输出中间词，或者给定中间词，输出上下文词。基于输入和输出之间的映射便是语言模型。这样的一个语言模型的目的便是检查和放在一起是否符合自然语言法则，更通俗一点说就是和搁一起是不是人话。

所以，基于监督学习的思想，本文的主角——word2vec便是一种基于神经网络训练的自然语言模型。word2vec是谷歌于2013年提出的一种NLP分析工具，其特点就是将词汇进行向量化，这样我们就可以定量的分析和挖掘词汇之间的联系。因而word2vec也是我们上一讲讲到的词嵌入表征的一种，只不过这种向量化表征需要经过神经网络训练得到。

word2vec训练神经网络得到一个关于输入和输出之间的语言模型，我们的关注重点并不是说要把这个模型训练的有多好，而是要获取训练好的神经网络权重，这个权重就是我们要拿来对输入词汇的向量化表示。一旦我们拿到了训练语料所有词汇的词向量，接下来开展 NLP 研究工作就相对容易一些了。

word2vec包括两种模型。一种是给定上下文词，需要我们来预测中间目标词，这种模型叫做连续词袋模型（Continuous Bag-of-Words Model，以下简称CBOW），另一种是给定一个词语，我们根据这个词来预测它的上下文，这种模型叫做skip-g