1. 文本相似度计算-文本向量化

Posted 2021-01-12 huangyc

1.前言

在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。

有了文本之间相似性的度量方式，我们便可以利用划分法的K-means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚类分析；另一方面，我们也可以利用文本之间的相似性对大规模语料进行去重预处理，或者找寻某一实体名称的相关名称（模糊匹配）。

而衡量两个字符串的相似性有很多种方法，如最直接的利用hashcode，以及经典的主题模型或者利用词向量将文本抽象为向量表示，再通过特征向量之间的欧式距离或者皮尔森距离进行度量。本文将对NLP中文本相似度计算第一步文本向量化做一个简述。

2. 文本向量化

无论文本式中文还是英文，我们首先要把它转化为电脑认识的形式。转化为电脑认识的形式的过程叫文本向量化。

向量化的粒度我们可以分为几种形式：

1. 以字或单词为单位，中文就是单个字，英文可以是一个单词。
2. 以词为单位，就需要加入一个分词的过程。分词算法本身是一个NLP中重要的基础课题，本文不详细讲解。
3. 以句子为单位，提炼出把一句话的高层语义，简而言之就是寻找主题模型。当然如果我们已经拿到了一句话的所有词的向量，也可以简单的通过取平均活着其他方式来代表这个句子。

下面我们主要介绍以词为单位的文本向量化方法，词集模型、词代模型、n-gram、TF-IDF、word2vec。和以句子为单位的主题模型，LSA、NMF、pLSA、LDA等。

2.1 词集模型和词代模型

词集模型和词代模型都是将所有文本中单词形成一个字典vocab，然后根据字典来统计单词出现频数。不同的是：

• 词集模型是单个文本中单词出现在字典中，就将其置为1，而不管出现多少次。
• 词代模型是单个文本中单词出现在字典中，就将其向量值加1，出现多少次就加多少次。

词集模型和词代模型都是基于词之间保持独立性，没有关联为前提。这使得其统计方便，但同时也丢失了文本间词之间关系的信息。

2.2 n-gram

n-gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为n的滑动窗口操作，形成了长度是n的字节片段序列。

以“我爱中国”为例：

一元模型（unigram model）分为“我”“爱”“中”“国”

二元模型（bigram model）分为“我爱”“爱中”“中国”

三元模型（trigram model）分为“我爱中”“爱中国”

以此类推，分好词后，就可以像词代模型的处理方式，按照词库去比较句子中出现的次数。n-gram能够比较好的记录句子中词之间的联系，n越大句子的完整度越高，但是随之而来的是词的维度成指数级增长。所以一般取n=2，n=3。

2.3 TF-IDF

TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。

前面的TF也就是我们前面说到的词频，我们之前做的向量化也就是做了文本中各个词的出现频率统计，并作为文本特征，这个很好理解。关键是后面的这个IDF，即“逆文本频率”如何理解。前面，我们讲到几乎所有文本都会出现的"的"其词频虽然高，但是重要性却应该比词频低的"西瓜"和“中国”要低。我们的IDF就是来帮助我们来反应这个词的重要性的，进而修正仅仅用词频表示的词特征值。

所以一个词的定量化表示比较合理的是（词频X词的权重）。

[ TF-IDF(x) = TF(x) * IDF(x) ]

2.4 word2vec

ord2vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。word2vec一般有CBOW和Skip-Gram模型。

CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量。通过深度学习训练出相应的固定维度的词向量。Skip-Gram模型和CBOW模型反一反，输入是中心词，输出是上下文。

2.5 主题词模型

设想一下一个问题，如果我有两个文本，分别是“星期天”和“周日”，从词的角度，它们没有相交的词，那它们用统计词频的方法就会比较难处理。但是这两个词，我们一看就知道意思完全一样的。这里就可以用主题模型对它们进行处理，假设我们找到它们的2个隐含主题“假期”，“休息”，然后计算它们和隐含主题间的距离的相似度。

主题模型主要有以下几种，LSA、NMF、pLSA、LDA。

1. LSA是通过奇异值分解的方式把文本分解成如下，(U_{il}) 对应第(i)个文本和第(l)个主题的相关度。(V_{jm})对应第(j)个词和第(m)个词义的相关度。(Sigma_{lm})对应第(l)个主题和第(m)个词义的相关度。

[ A_{m imes n} approx U_{m imes k}Sigma_{k imes k} V^T_{k imes n} ]

1. NMF虽然也是矩阵分解，它却使用了不同的思路，它的目标是期望将矩阵分解为两个矩阵。这样速度更快，而且不会出现LSA中相关度为负数的情况，可解释性强。
   [ A_{m imes n} approx W_{m imes k}H_{k imes n} ]
2. pLSA虽然可以从概率的角度解释了主题模型
   1. 按照概率(p(d_m))选择一篇文档(d_m)
   2. 根据选择的文档(d_m)，从从主题分布中按照概率(p(z_k|d_m))即(( heta_{mz}))选择一个隐含的主题类别(z_k)
   3. 根据选择的主题(z_k), 从词分布中按照概率(p(w_j|z_k))即((varphi_{zw}))选择一个词(w_j)

1. LDA模型考虑了主题概率分布的先验知识，比如文本中出现体育主题的概率肯定比哲学主题的概率要高，这点来源于我们的先验知识。具体我们以后的文章再讨论。

3. 总结

本文主要介绍了文本相似度计算的第一步，文本的向量化。向量化好后，我们就可以通过一些常用的距离计算公式计算文本之间的相似度。

（欢迎转载，转载请注明出处。欢迎沟通交流： [email protected]）