用于精确文本匹配的 NEST 查询

Posted 2023-03-30

【中文标题】用于精确文本匹配的 NEST 查询

【英文标题】：NEST Query for exact text matching

【发布时间】：2015-08-25 17:44:54

【问题描述】：

我正在尝试编写一个 NEST 查询，该查询应该根据精确的字符串匹配返回结果。我在网上进行了研究，并且有关于使用 Term、Match、MatchPhrase 的建议。我已经尝试了所有这些，但我的搜索返回的结果包含部分搜索字符串。 例如，在我的数据库中，我有以下几行电子邮件地址：

[e-mail]

[e-mail]

[e-mail]

不管我是否使用：

client.Search<Emails>(s => s.From(0)
                        .Size(MaximumSearchResultsSize)
                        .Query(q => q.Term( p=> p.OnField(fielname).Value(fieldValue))))

或

  client.Search<Emails>(s => s.From(0).
                              Size(MaximumPaymentSearchResults).
                              Query(q=>q.Match(p=>p.OnField(fieldName).Query(fieldValue))));                                              

我的搜索结果总是返回包含“部分搜索”字符串的行。

所以，如果我将搜索字符串提供为“ter”，我仍然会得到所有 3 行。 [e-mail]

[e-mail]

[e-mail]

如果搜索字符串是“ter”，我希望不会看到返回任何行。如果搜索字符串是“[e-mail]”，那么我只想看到“[e-mail]”。

不知道我做错了什么。

【问题讨论】：

你能分享一下你的email字段的映射吗？

感谢 Val 的回复。正如您和 Russ 所指出的，问题在于映射。

【参考方案1】：

根据您在问题中提供的信息，听起来包含电子邮件地址的字段已使用 Standard Analyzer 进行索引，如果没有其他，则默认分析器应用于字符串字段已指定分析器或该字段未标记为not_analyzed。

使用 Elasticsearch 的 Analyze API 可以看到标准分析器对给定字符串输入的影响：

curl -XPOST "http://localhost:9200/_analyze?analyzer=standard&text=ter%40gmail.com

文本输入需要进行 url 编码，如此处使用 @ 符号演示的那样。运行此查询的结果是

   "tokens": [
      
         "token": "ter",
         "start_offset": 0,
         "end_offset": 3,
         "type": "<ALPHANUM>",
         "position": 1
      ,
      
         "token": "gmail.com",
         "start_offset": 4,
         "end_offset": 13,
         "type": "<ALPHANUM>",
         "position": 2
      
   ]

我们可以看到标准分析器为输入生成了两个标记，ter 和 gmail.com，这将存储在字段的倒排索引中。

现在，运行Match query 将导致对匹配查询的输入进行分析，默认情况下，使用与在应用匹配查询的字段的映射定义中找到的分析器相同的分析器。

然后默认情况下将此匹配查询分析的结果标记组合成一个布尔或查询，这样任何包含该字段倒排索引中任何一个标记的文档都将是匹配项。举个例子

文本[e-mail]，这意味着任何与该字段匹配的ter 或gmail.com 的文档都会被点击

// Indexing
input: [e-mail] -> standard analyzer -> ter,gmail.com in inverted index

// Querying
input: [e-mail] -> match query -> docs with ter or gmail.com are a hit!

显然，对于精确匹配，这根本不是我们想要的！

运行Term query 将导致术语查询的输入不被分析，即它是一个与术语输入完全匹配的查询，但是运行这个在索引时已分析的字段上可能会出现问题；由于该字段的值已经过分析，但术语查询的输入没有经过分析，因此您将获得与在索引时发生的分析结果完全匹配的术语输入的结果。例如

// Indexing
input: [e-mail] -> standard analyzer -> ter,gmail.com in inverted index

// Querying
input: [e-mail] -> term query -> No exact matches for [e-mail]

input: ter -> term query -> docs with ter in inverted index are a hit!

这也不是我们想要的！

我们可能希望在映射定义中将此字段设置为not_analyzed

putMappingDescriptor
    .MapFromAttributes()
    .Properties(p => p
        .String(s => s.Name(n => n.FieldName).Index(FieldIndexOption.NotAnalyzed)
    );

有了这个，我们可以使用Filtered queryTerm filter搜索精确匹配

// change dynamic to your type
var docs = client.Search<dynamic>(b => b
    .Query(q => q
        .Filtered(fq => fq
            .Filter(f => f
                .Term("fieldName", "[e-mail]")
            )
        )
    )
);

这将产生以下查询 DSL

  "query": 
    "filtered": 
      "filter": 
        "term": 
          "fieldName": "[e-mail]"
        
      
    
  

【讨论】：

非常感谢。这解决了问题。

没有问题，乐于助人！

属性上的一个属性为我排序，但你让我回答（PS：[ElasticProperty(Index = FieldIndexOption.NotAnalyzed)]）

@DavidG 一些更简单的映射可以用属性来表示，但是流畅的 API 能够映射 Elasticsearch 映射 API 中可用的所有内容。很高兴它引导你找到答案:)

@Russ Cam，如何使此解决方案适用于 NEST 7.6.0 ***.com/questions/60740162/…

【参考方案2】：

您还可以执行 MatchPhrasePrefix 查询以执行“精确”匹配。

.MatchPhrasePrefix(ma => ma.Field(field).Query(query))

【参考方案3】：

您可以将“Bool Query”与“Match Phrase Prefix Query”结合起来以获得完全匹配。

var boolQuery = new BoolQueryDescriptor<MyClass>();

boolQuery.Must(must => must
   .MatchPhrasePrefix(matchPhrasePrefix => matchPhrasePrefix
      .Field(f => f.Title)
      .Field(f => f.Description)
      .Query(text)
   )
);