Lucene搜索核心代码TermInfosReader

Posted 2020-11-24 caiyao

前置知识：

　　词元字典文件(tis)：

　　　　文件结构：
　　　　　　TermInfos --> <TermInfo>TermCount
　　　　　　TermInfo --> <Term, DocFreq, FreqDelta, ProxDelta, SkipDelta>
　　　　文件中的term按照从小到大排序，排序规则：先按照属性名排，如果属性名相同，再按照词元内容排，简单的字符比较。tis文件中存储的词元列表按照IndexInterval分成多个块，后面在查询逻辑里叙述通过块如何优化搜索。

　　词元索引文件(tii)：

　　　　结构：

　　　　　　TermIndices --> <TermInfo, IndexDelta>IndexTermCount
　　　　　　IndexDelta --> VInt 　　// IndexDelta表示这个索引词元在tis文件中的具体位置，类似指针

　　　　tii文件是tis文件的索引文件，按照tis文件中存储的IndexInterval间隔存储tii文件，tii文件中词元内容和tis一样，除了词元外，tii文件中每个词元附加一个IndexDelta数据，存储了该词元在tis文件中的位置，

 

核心方法一：
TermInfo get(Term term)
方法描述：方法传入term，返回TermInfo，通过TermInfo里的freqPointer和proxPointer可以从.frq文件中取包含该词元的文档列表，和从.prx文件中取词元在每个文档中出现的位置。get方法是用于查询指定存在的term，如果term不存在这个方法返回一个null
逻辑描述：系统初始化时将tii文件中的所有数据加载到内存中，具体是代码TermInfosReader里的indexTerms和indexInfos还有indexPointers变量中，indexTerms中存储.tii文件中所有的词元数据，indexInfos存储词元附加信息，比如词元在frq文件和prox文件中的相应数据的位置，indexPointers存储每个.tii文件中索引词元在.tis文件中的原始位置。这几个变量都是数组，按照下标一一对应。
词元都是从小到大排好顺序的，所以要搜索入参term在tis文件中的位置，就要从前往后一个一个遍历。
优化点1：

　　通过上面已经加载到内存中的tii文件数据可以优化这个查找过程，具体过程如下：
先通过参数term到indexTerms变量中找到一个比自己小而且是最接近的索引词元。在1.4里实现是通过二分查找
然后通过indexTerms、indexInfos、indexPointers这三个变量在下标上的对应关系找到这个最接近且比参数小的索引词元在tis文件中的原始位置，这个数据在indexInfos里有记录。
然后上面的从前往后一个一个遍历可以优化为从上面得到的索引词元开始往后遍历。

优化点2：

　　这里还有一个优化点，对于顺序查找且在同一个块内的词元时，其实不需要去索引词元列表里找下标，然后通过下标往后遍历，这时候可以直接通过第一次查询的词元(遍历的当前词元)的位置往后遍历。通过tii文件找也是为了找到一个和当前查询词元最接近的索引词元，现在这种场景下第一次查询的词元是最接近的，所以不需要在使用索引词元查找。

核心方法2：
SegmentTermEnum terms(Term term)
方法描述：

get方法查询指定的词元，terms方法查询匹配的多个词元，用于范围搜索场景，比如前缀查询、模糊查询等。terms方法是基于get方法来实现的，get方法还有个副作用，在执行get方法时会移动当前遍历的指针，如果查询到某个词元，则指针指向该词元，如果没有查询到词元，则把指针定位到与查询词元最近的一个比查询词元大的词元位置。

逻辑描述：

terms方法正是通过这个副作用来工作的，terms的代码很简单:

get(term);
return (SegmentTermEnum)getEnum().clone();
先通过get定位到最小的词元位置，然后返回以命中的最小词元为头的词元链表，调用方可以通过这个链表获取到所有相似的词元以及包含每个词元的文档列表。