搜索引擎基础概念—— 构建单词词典

Posted yaokaizhi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了搜索引擎基础概念—— 构建单词词典相关的知识,希望对你有一定的参考价值。

  Lucene单词词典

    使用lucene进行查询不可避免都会使用到其提供的单词词典功能,即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的单词词典功能。

    怎么实现一个单词词典呢?我们马上想到排序数组,即term字典是一个已经按字母顺序排序好的数组,数组每一项存放着term和对应的倒排文档id列表。每次载入索引的时候只要将term数组载入内存,通过二分查找即可。这种方法查询时间复杂度为Log(N),N指的是term数目,占用的空间大小是O(N*str(term))。排序数组的缺点是消耗内存,即需要完整存储每一个term,当term数目多达上千万时,占用的内存将不可接受。

    单词词典是倒排索引中非常重要的组成部分,它用来维护文档集合中出现过的所有单词的相关信息,同时用来记载某个单词对应的倒排列表在倒排文件中的位置信息,如图1-2所示。在支持搜索时,根据用户的查询词,去单词词典里查询,就能够获得相应的倒排列表,并以此作为后续排序的基础。

                      技术分享图片

 

 

    对于一个规模很大的文档集合来说,可能包含几十万甚至上百万的不同单词,能否快速定位某个单词,这直接影响搜索时的响应速度,所以需要高效的数据结构来对单词词典进行构建 和查找,常用的数据结构包括哈希加链表结构和树形词典结构和FST有穷状态转换器。

    很多数据结构均能完成字典功能,总结如下。

数据结构 优缺点
排序列表Array/List 使用二分法查找,不平衡
HashMap/TreeMap 性能高,内存消耗大,几乎是原始数据的三倍
Skip List 跳跃表,可快速查找词语,在lucene、redis、Hbase等均有实现。相对于TreeMap等结构,特别适合高并发场景(Skip List介绍
Trie 适合英文词典,如果系统中存在大量字符串且这些字符串基本没有公共前缀,则相应的trie树将非常消耗内存(数据结构之trie树
Double Array Trie 适合做中文词典,内存占用小,很多分词工具均采用此种算法(深入双数组Trie
Ternary Search Tree 三叉树,每一个node有3个节点,兼具省空间和查询快的优点(Ternary Search Tree
Finite State Transducers (FST) 一种有限状态转移机,Lucene 4有开源实现,并大量使用

  一:哈希加链表

      图 1-3 是这种词典结构的示意图。这种词典结构主要由两个部分构成,主体部分是哈希表, 每个哈希表项保存一个指针,指针指向冲突链表,在冲突链表里,相同哈希值的单词形成链表结构。之所以会有冲突链表,是因为两个不同单词获得相同的哈希值,如果是这样,在哈希方法里被称做是一次冲突,可以将相同哈希值的单词存储在链表里,以供后续查找。

      注:

        -》主体部分为什么使用哈希表?

          数组、向量、集合等都可以存储对象,但是对象的位置是随机的,也就是说对象本身和位置并没有必然的联系,当要查找一个对象时,只能以某种顺序(如顺序查找或二分查找)与各个元素进行比较,当数组或向量或集合中的元素数量很多时,查找的效率会明显的降低。Hash表利用key、value模式,散列无序存储,效率高很多。

        -》为什么会有Hash冲突?

          哈希的原理就是抽样,取信息的特征。两个不同单词通过hash算法获得哈希值是有可能相同的(如果是这样,在哈希方法里被称做是一次冲突),而实际的哈希表,全部都要处理哈希值冲突的情况。而链表法就是解决hash冲突的一种手段(可以将相同哈希值的单词存储在链表里,以供后续查找),如:向哈希表中添加一个词汇2时,如果哈希表中已经存在一个具有相同哈希值的词汇1,则将词汇2添加到以词汇1为头节点的链表中。

                              技术分享图片

                                 图1-3 哈希加冲突链表词典结构

 

     在建立索引的过程中,词典结构也会相应地被构建出来。比如在解析一个新文档的时候,对于某个在文档中出现的词汇A:

      第1步:首先利用哈希函数获得其哈希值

      第2步:之后根据哈希值对应的哈希表项读取其中保存的指针,找到了对应的冲突链表。

      第3步:如果冲突链表里已经存在这个单词, 说明单词在之前解析的文档里已经出现过。

      第4步:如果在冲突链表里没有发现这个单词,说明该单词是首次碰到,则将其加入冲突链表里。

    通过这种方式,当文档集合内所有文档解析完毕时,相应的词典结构也就建立起来了。

 

    在响应用户查询请求时,其过程与建立词典类似,不同点在于即使词典里没出现过某个单词, 也不会添加到词典内。以图 1-3 为例,

      第1步:假设用户输入的查询请求为单词3,对这个单词进行哈希。

      第2步:定位到哈希表内的 2 号槽。

      第3步:从其保留的指针可以获得冲突链表。

      第4步:依次将单词 3 和冲突链表内的单词比较,发现单词 3 在冲突链表内,于是找到这个单词。之后可以读出这个单词对应的倒排列表来进行后续的工作。

      第5步:如果没有找到这个单词,说明文档集合内没有任何文档包含单词,则搜索结果为空。

 

  二:树形结构

    B 树(或者 B+树)是另外一种高效查找结构,图 1-4 是一个 B 树结构示意图。B树与哈希方式查找不同,需要字典项能够按照大小排序(数字或者字符序),而哈希方式则无须数据满足此项要求。

    B 树形成了层级查找结构,中间节点用于指出一定顺序范围的词典项目存储在哪个子树中, 起到根据词典项比较大小进行导航的作用,最底层的叶子节点存储单词的地址信息,根据这个地址就可以提取出单词字符串。

                  技术分享图片

图1-4 B树查找结构

 

   三:FST有穷状态转换器

     Finite State Transducers 简称 FST, 中文名:有穷状态转换器。在自然语言处理等领域有很大应用,其功能类似于字典的功能(STL 中的map,C# 中的Dictionary),但其查找是O(1)的,仅仅等于所查找的key长度。目前Lucene4.0在查找Term时就用到了该算法来确定此Term在字典中的位置。

    lucene从4开始大量使用的数据结构是FST(Finite State Transducer)。FST有两个优点:1)空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;2)查询速度快。O(len(str))的查询时间复杂度。

    

    下面简单描述下FST的构造过程。我们对“cat”、 “deep”、 “do”、 “dog” 、“dogs”这5个单词进行插入构建FST(注:必须已排序)。

    1)插入“cat”

         插入cat,每个字母形成一条边,其中t边指向终点。

    技术分享图片

 

    2)插入“deep”

        与前一个单词“cat”进行最大前缀匹配,发现没有匹配则直接插入,P边指向终点。

  技术分享图片

    3)插入“do”

        与前一个单词“deep”进行最大前缀匹配,发现是d,则在d边后增加新边o,o边指向终点。

 技术分享图片

    4)插入“dog”

        与前一个单词“do”进行最大前缀匹配,发现是do,则在o边后增加新边g,g边指向终点。

 技术分享图片

    5)插入“dogs”

         与前一个单词“dog”进行最大前缀匹配,发现是dog,则在g后增加新边s,s边指向终点。

 技术分享图片

         最终我们得到了如上一个有向无环图。利用该结构可以很方便的进行查询,如给定一个term “dog”,我们可以通过上述结构很方便的查询存不存在,甚至我们在构建过程中可以将单词与某一数字、单词进行关联,从而实现key-value的映射。

    

    FST压缩率一般在3倍~20倍之间,相对于TreeMap/HashMap的膨胀3倍,内存节省就有9倍到60倍!那FST在性能方面真的能满足要求吗?

        下面是我在苹果笔记本(i7处理器)进行的简单测试,性能虽不如TreeMap和HashMap,但也算良好,能够满足大部分应用的需求。

                    技术分享图片

     参考博文:

      sbp810050504  《lucene (42)源代码学习之FST(Finite State Transducer)在SynonymFilter中的实现思想

      zhanlijun       《lucene字典实现原理

 

以上是关于搜索引擎基础概念—— 构建单词词典的主要内容,如果未能解决你的问题,请参考以下文章

Wordbook:一个 GNOME 桌面的离线词典应用

每日一题745. 前缀和后缀搜索

leetcode-211. 添加与搜索单词

使用二进制搜索的 Java 前缀搜索

英语学习/词典app——top5

LeetCode 211.添加与搜索单词