语义挖掘：灵玖大数据汉语智能分词

Posted 2020-08-20

　　自然语言处理(NLP，Natural Language Processing)是一个信息时代最重要的技术之一，简单来讲，就是让计算机能够理解人类语言的一种技术。在其中，分词技术是一种比较基础的模块，分词的意义非常大，在中文中，单字作为最基本的语义单位，虽然也有自己的意义，但表意能力较差，意义较分散，而词的表意能力更强，能更加准确的描述一个事物，因此在自然语言处理中，通常情况下词(包括单字成词)是最基本的处理单位。

　　汉语词技术对中文搜索引擎的查准率及查全率有重大影响。汉语词法分析中间件能对汉语语言进行拆分处理，是中文信息处理必备的核心部件。灵玖综合了各家所长经过多年的努力研发里灵玖汉语智能分词系统，分词准确率接近99%，具备准确率高、速度快、可适应性强等优势;特色功能包括：切分粒度可调整，融合20余部行业专有词典，支持用户自定义词典等。

　　在具体的应用上，比如在常用的搜索引擎中，term如果是词粒度的话，不仅能够减少每个term的倒排列表长度，提升系统性能，并且召回的结果相关性高更准确。比如搜索query“的确”，如果是单字切分的话，则有可能召回“你讲的确实在理”这样的doc。灵玖汉语智能分词系统是采用条件随机场(Conditional Random Field,简称CRF)模型进行分词。

　　条件随机域(场)(conditional random fields，简称 CRF，或CRFs)，是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。 因为其强大的表达能力和出色的性能，得到了广泛的应用。从最通用角度来看，CRF本质上是给定了观察值集合(observations)的马尔可夫随机场。在这里，我们直接从最通用的角度来认识和理解CRF，最后可以看到，线性CRF和所谓的高阶CRF，都是某种特定结构的CRF。

1. 随机场

　　简单地讲，随机场可以看成是一组随机变量的集合(这组随机变量对应同一个样本空间)。当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。

2. Markov随机场(MRF)

　　这是加了Markov性质限制的随机场。首先，一个Markov随机场对应一个无向图。这个无向图上的每一个节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间有概率依赖关系。因此，Markov随机场的结构本质上反应了我们的先验知识——哪些变量之间有依赖关系需要考虑，而哪些可以忽略。Markov性质是指，对Markov随机场中的任何一个随机变量，给定场中其他所有变量下该变量的分布，等同于给定场中该变量的邻居节点下该变量的分布。这让人立刻联想到马式链的定义：它们都体现了一个思想：离当前因素比较遥远(这个遥远要根据具体情况自己定义)的因素对当前因素的性质影响不大。

3.从Markov随机场到CRF

　　现在，如果给定的MRF中每个随机变量下面还有观察值，我们要确定的是给定观察集合下，这个MRF的分布，也就是条件分布，那么这个MRF就称为CRF(Conditional Random Field)。

4.训练

　　通过一组样本，我们希望能够得到CRF对应的分布形式，并且用这种分布形式对测试样本进行分类。也就是测试样本中每个随机变量的取值。

　　在实际应用中，clique-potential主要由用户自己定义的特征函数组成，即用户自己定义一组函数，这些函数被认为是可以用来帮助描述随机变量分布的。而这些特征函数的强弱以及正向、负向是通过训练得到的一组权重来表达的，这样，实际应用中我们需要给出特征函数以及权重的共享关系(不同的特征函数可能共享同一个权重),而clicque-potential本质上成了对应特征函数的线性组合。这些权重就成了CRF的参数。因此，本质上，图的结构是用户通过给出特征函数的定义确定的(例如，只有一维特征函数，对应的图上是没有边的)还有，CRF的分布成了对数线性形式。

5.推断

　　如前所述，训练的过程中我们需要概率推断，分类的时候我们需要找出概率最大的一组解，这都涉及到推断。这个问题本质上属于图模型上的概率推断问题。