搜索系统7：索引查询方法与评价方法

Posted 2020-10-06 北漂程序员

一、 多条件的查询方法:
之前已经介绍过倒排索引的结构。在查单个词的时候比较简单，直接查从索引里找是否有这个词对应的文档列表就行了。但如果条件是and、or、not这样的条件，怎么处理呢？
and:对多个条件分别取文档列表后，再取交集。
or:对多个条件分别取文档列表后，再取并集。
not:对多个条件分别取文档列表后，再取补集。
曾经以为这样效率不高，但仔细想想。索引列表压缩后最多也就几mb的数据，这已经可存百万级的列表了，在内存中对几个几mb的数据遍历一下也要不了多少时间，更不用说可用二分等更高级的算法了，效率不是问题。
二、如何按相关性排序？
比如用户搜"秋季 瘦身",可先按上面or的处理方法取出并集，但这么多的文档怎么按相关性排序呢？如果索引里的值已经足够计算相关性，那么直接用索引里的值，不够再读取相应的文档。具体方法有一次一单词(Term at a Time)、一次一文档(Doc at aTime)、跳跃指针(Skip Pointers)。

三、多字段的索引怎么存储
1.每个字段做一个索引文件，如下
标题字段

描述字段

2.在字段信息存在索引里:

这个字段可以不用名称，可每个字段用一个比特位来表示。如总共有2个字段，则上对于"美容"这个词的值为Doc7(tf,idf)(11),doc8(tf,idf)(10),Doc6(tf,idf)(01)

3.扩展列表方式
对每个字段做一个扩展列表，如下:
标题字段扩展 {doc1,(1,4)},{doc2,(6,8)}
{doc1,(1,4)}的意思是文档1的标题所占的位置是1到4,其它类推。
那么倒排列表结构可这么存:
美容: [doc1,(6,8)], [doc2,(7)]
那么"美容"这个词在文档1的位置是6到8，并没有在上面的1到4里，就是说标题里没有"美容"这个词。同理"美容"这个词在文档2的标题里。



四、检索效果评价
1.精确率Pr
Pr=检索结果中与检索相关的结果数 / 全部检索结果数
如,在检索某个查询的答案时，取前50个文档。而且这35个文档是与查询相关的，则精确率为P50=70% 。为什么是这么计算，其实是有前提的:就是相关的才被查出来。这与我们的实际工作有些区别，有时我们要尽可能给用户提供更多的选择，相关也是有相关度的区别的。如果返回的前35个就是最相关的，而且除了这已经没有最相关的了，其它的是15个是次相关的，这个精确率就应该是100% 。

2.召回率Rr
Rr=与检索相关且实际检索出的文档数 / 与检索相关的文档数
还是前面那个例子，实际检索出的前50个文档中有35个是相关的，但是真正相关的有70篇，那么召回率R50=50%,因为在前50篇文档中只选出了35/70=50的相关文档。

一般在用ik这样的中文分词，如果单从词的匹配的角度来看，精确率应该都是100%。但如果从一个用户的观点看，可能在第10页的数据才是他认为是精准匹配的，所以这样的问题得具体问题具体分析，使用不同的算法来解决。