lucene查询索引的6个步骤

Posted 2021-04-24 中中

先准备数据源，以两个文件名字符串做为值，保存两个document,如下图:

然后以"path:txt"为查询条件，来查询索引文件。我调试发现会有6个步骤。数据主要来源于3个文件，tim、doc、fdt。

1.先根据查询字段与词找出该字段所有的term(.tim文件中的terms)

2.加载tim文件(seekExact方法中currentFrame.loadBlock)
从terms查到匹配的term，匹配term下标记录在SegmentTermsEnumFrame.nextEnt( SegmentTermsEnumFrame.scanToTermLeaf(BytesRef, boolean) line: 567)

3.从.tim的stats里取出词频，metadata里取出位置信息

4.如果命中多个doc,定位到它们在doc文件的开始下标

5.1 单个doc,直接取出tim metadata里的singletonDocID

5.2 多个doc,读出所有docId

6.根据docId,从fdt文件中取出原字符串。

最后总结下查询过程如下图,虽然这个过程比较简单，但它是基于一个强大的索引文件结构。这个索引结构很复杂，主要数据结构有：分词信息在tim文件、倒排doc列表在doc文件、原数据在fdt文件。