你知道es是如何计算相似度得分的吗？

Posted 2022-10-16 丘文波

1.es中相似度计算公式-BM25

6.x版本和7.x 版本的es的默认得分计算方式都是BM25。

假如用户给定一个输入$Q$，其包含了关键字$q_1,q_2,......q_n,$那么该输入$Q$与文档$D$的BM25得分为：

$$\mathrm{score}(D,Q)=\sum _{i=1}^n\mathrm{IDF}\left(q_i\right)\cdot \frac{f\left(q_i,D\right)\cdot \left(k_1+1\right)}{f\left(q_i,D\right)+k_1\cdot \left(1-b+b\cdot \frac{|D|}{\mathrm{avgdl}}\right)}$$

参数说明如下：

• $score(D,Q)$ : 表示用户输入Q与文档D的相关性得分
• $IDF(q_i)$ : 关键字$q_i$的逆文档频值，$\mathrm{IDF}\left(q_i\right)=\ln \left(\frac{N-n\left(q_i\right)+0.5}{n\left(q_i\right)+0.5}+1\right)$
• $f(q_i,D)$ : 关键词$q_i$在文档D中的频数
• N ：全部文档的个数
• $n(q_i)$ : 包含关键字$q_i$所有文档的个数
• $avgdl$：文档平均token个数，全部文档包含的token个数总和除以总文档数
• $|D|$：文档D包含的token的个数
• $k1$：超参数，该值越小 大词频的词对整体得分的贡献就会越会被抑制，默认值是1.2
• b：超参数，该值越大，包含相同多关键词$q_i$情况下，文档得分越短得分越高，若该值为0，b的默认值是0.75

为了了解一下超参数k1的对最终得分的影响，假定b=0，然后观察一下公式：$\frac{f\left(q_i,D\right)\cdot \left(k_1+1\right)}{f\left(q_i,D\right)+k_1\cdot \left(1-b+b\cdot \frac{|D|}{\mathrm{avgdl}}\right)}$值的变化

即$\frac{f\left(q_i,D\right)\cdot \left(k_1+1\right)}{f\left(q_i,D\right)+k_1}$值的变化：

从上图可以看出 ，k1值越小，随着关键词$q_i$的词频$f(q_i,D)$增加，对于$\frac{f\left(q_i,D\right)\cdot \left(k_1+1\right)}{f\left(q_i,D\right)+k_1}$的增幅越小。

2.查看es的得分计算过程

当使用es进全文查询时，es会计算出每一个返回文档的相关得分“_score”。

在查询的时候，通过设置“ “explain”: true ”来让给出相关得分计算的过程解释。

举个例子：首先在es中创建一个索引，并写入数据，用户输入“PPT小工具”并开启相关得分解释设置

POST nlu-pro-44-94/_search

  "explain": true,
  "_source":["similary_query"],
  "query": 
    "match": 
      "similary_query": "PPT小工具"
    
  

es返回的结果是：

由于7.x 版本的es默认相关得分计算公式是BM25， score ⁡ ( D , Q ) = ∑ i = 1 n IDF ⁡ ( q i ) ⋅ f ( q i , D ) ⋅ ( k 1 + 1 ) f ( q i , D ) + k 1 ⋅ ( 1 − b + b ⋅ ∣ D ∣ avgdl ⁡ ) \\operatornamescore(D, Q)=\\sum_i=1^n \\operatornameIDF\\