Solr 全文搜索

Posted 2021-05-02 锅外的大佬

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Solr 全文搜索相关的知识，希望对你有一定的参考价值。

点击左上角蓝字，关注“锅外的大佬”

专注分享国外最新技术内容

1. 概述

在本文中，我们将探讨一个Apache Solr搜索引擎中的基本概念 - 全文搜索。

Apache Solr是一个开源框架，旨在处理数百万的文档。我们将通过使用Java库- SolrJ的示例来介绍它的核心功能。

2. maven配置

由于Solr是开源的 - 我们可以简单地下载二进制文件并在我们的应用程序中单独启动服务器。

要与服务器通信，我们将为SolrJ客户端定义Maven依赖项：

<dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>6.4.2</version></dependency>

你将在[这儿](https://search.maven.org/classic/#search|ga|1|g%3A"org.apache.solr" AND a%3A"solr-solrj")找到最新的依赖。

3. 索引数据

为了索引和搜索数据，我们需要创建一个core以及一个item来索引数据。

在我们这样做之前，我们需要在服务器上为数据建立索引，以便它可以搜索。

我们可以通过许多不同的方式为数据建立索引。我们可以使用数据导入处理程序直接从关系数据库导入数据，使用Apache Tika通过Solr Cell上传数据或使用索引处理程序上传XML/ XSLT，JSON和CSV数据。

3.1 索引Solr文档

我们可以通过创建SolrInputDocument将数据索引到核心。首先，我们需要使用我们的数据填充文档，然后只调用SolrJ的API为文档建立索引：

SolrInputDocument doc = new SolrInputDocument();doc.addField("id", id);doc.addField("description", description);doc.addField("category", category);doc.addField("price", price);solrClient.add(doc);solrClient.commit();

请注意，id对于不同的item应该是唯一的。已建立索引的文档根据ID更新该文档。

3.2 索引 Beans

SolrJ提供了用于索引Java bean的API。要为bean建立索引，我们需要使用@Field对其进行注解：：

public class Item {
 @Field private String id;
 @Field private String description;
 @Field private String category;
 @Field private float price;}

一旦我们添加bean，索引就已经建立好：

solrClient.addBean(item); solrClient.commit();

4. Solr查询

搜索是Solr最强大的功能。我们一旦在存储库中建立索引文档，我们就可以根据关键字，短语，日期范围等进行搜索。结果按相关性（得分）排序。

4.1 基本查询

服务器公开用于搜索操作的API。我们可以调用/select或/query程序处理请求。

我们来做一个简单的搜索：

SolrQuery query = new SolrQuery();query.setQuery("brand1");query.setStart(0);query.setRows(10);
QueryResponse response = solrClient.query(query);List<Item> items = response.getBeans(Item.class);

SolrJ将在其对服务器的请求内部使用主查询参数q。返回记录的数量为10，未指定start和rows参数时，从0开始索引。

上面的搜索查询将查找在其任何索引字段中包含完整单词“brand1”的任何文档。请注意，简单搜索不区分大小写。

让我们看另一个例子。我们想要搜索任何包含“rand”的单词，该单词以任意数量的字符开头，并且只以一个字符结尾。我们可以在查询中使用*和？通配符：

query.setQuery("*rand?");

Solr查询还支持类似SQL中的布尔操作：

query.setQuery("brand1 AND (Washing OR Refrigerator)");

所有布尔运算符必须全部大写;查询解析器支持的是AND，OR，NOT，+和 - 。

更重要的是，如果我们想要搜索特定字段而不是所有索引字段，我们可以在查询中指定这些字段：

query.setQuery("description:Brand* AND category:*Washing*");

4.2 短语查询

到目前为止，我们只用代码在索引字段中查找关键字。我们还可以对索引字段进行短语搜索：

query.setQuery("Washing Machine");

当我们有一个像“Washing Machine”这样的短语时，Solr的标准查询解析器将其解析为“Washing OR Machine”。要搜索整个短语，我们只能在双引号内添加表达式：

query.setQuery("\"Washing Machine\"");

我们可以使用邻近搜索来查找特定距离内的单词。如果我们想要找到至少相距两个单词的短语，我们可以使用以下查询：

query.setQuery("\"Washing equipment\"~2");

4.3 范围查询

范围查询允许获取其字段在特定范围之间的文档。假设我们想要找到价格在100到300之间的商品：

query.setQuery("price:[100 TO 300]");

上面的查询将找到价格在100到300之间的所有元素，包括100和300。我们可以使用“}”和“{”来排除终点：

query.setQuery("price:{100 TO 300]");

4.4 过滤查询

筛选查询可用于限制可返回的结果的超集。过滤查询不会影响排序：

SolrQuery query = new SolrQuery();query.setQuery("price:[100 TO 300]");query.addFilterQuery("description:Brand1","category:Home Appliances");

通常，过滤器查询将包含常用查询。由于它们通常是可重用的，因此它们被缓存以使搜索更有效。

5. 分面搜索

Faceting有助于将搜索结果安排到组计数中。我们可以使用字段，查询或范围。

5.1. Field 切面

例如，我们希望在搜索结果中获取聚合的类别计数。我们可以在查询中添加类别字段：

query.addFacetField("category");
QueryResponse response = solrClient.query(query);List<Count> facetResults = response.getFacetField("category").getValues();

facetResults将包含结果中每个类别的计数。

5.2. 切面查询

当我们想要返回子查询的计数时，查询切面非常有用：

query.addFacetQuery("Washing OR Refrigerator");query.addFacetQuery("Brand2");
QueryResponse response = solrClient.query(query);Map<String,Integer> facetQueryMap = response.getFacetQuery();

因此，facetQueryMap将具有facet查询的计数。

5.3. 范围切面

范围切面用于获取搜索结果中的范围计数。以下查询将返回介于100和251之间的价格范围计数，其间隔为25：

query.addNumericRangeFacet("price", 100, 275, 25);
QueryResponse response = solrClient.query(query);List<RangeFacet> rangeFacets = response.getFacetRanges().get(0).getCounts();

除数值范围外，Solr还支持日期范围，区间切面和支点切面。

6. 突出显示

我们可能希望在搜索结果中突出显示搜索查询中的关键字。这对于更好地了解结果非常有帮助。让我们索引一些文档并定义要突出显示的关键字：

itemSearchService.index("hm0001", "Brand1 Washing Machine", "Home Appliances", 100f);itemSearchService.index("hm0002", "Brand1 Refrigerator", "Home Appliances", 300f);itemSearchService.index("hm0003", "Brand2 Ceiling Fan", "Home Appliances", 200f);itemSearchService.index("hm0004", "Brand2 Dishwasher", "Washing equipments", 250f);
SolrQuery query = new SolrQuery();query.setQuery("Appliances");query.setHighlight(true);query.addHighlightField("category");QueryResponse response = solrClient.query(query);
Map<String, Map<String, List<String>>> hitHighlightedMap = response.getHighlighting();Map<String, List<String>> highlightedFieldMap = hitHighlightedMap.get("hm0001");List<String> highlightedList = highlightedFieldMap.get("category");String highLightedText = highlightedList.get(0);

我们获取到的highLightedText为"Home <em> Appliances </em>"。请注意，搜索关键字Appliances被<em>标记。Solr使用的默认突出显示标记是<em>，但我们可以通过设置pre和post标记来更改它：

query.setHighlightSimplePre("<strong>");query.setHighlightSimplePost("</strong>");

7. 搜索建议

Solr支持的一个重要功能是建议。如果查询中的关键字包含拼写错误，或者我们建议自动填写搜索关键字，我们可以使用建议功能。

7.1. 拼写检查

标准搜索处理程序不包括拼写检查组件;它必须手动配置。有三种方法可以做到这一点。您可以在官方wiki page中找到配置详细信息。在我们的示例中，我们将使用IndexBasedSpellChecker，它使用索引数据进行关键字拼写检查。

让我们搜索拼写错误的关键字：

query.setQuery("hme");query.set("spellcheck", "on");QueryResponse response = solrClient.query(query);
SpellCheckResponse spellCheckResponse = response.getSpellCheckResponse();Suggestion suggestion = spellCheckResponse.getSuggestions().get(0);List<String> alternatives = suggestion.getAlternatives();String alternative = alternatives.get(0);

关键字“hme”的预期替代应该是“home”，因为我们的索引包含术语“home”。请注意，必须在执行搜索之前激活拼写检查。

7.2. 自动建议条件

我们可能希望获得不完整关键字的建议以协助搜索。Solr的建议组件必须手动配置。您可以在其官方wiki page中找到配置详细信息。

我们已经配置了一个名为/suggest的请求处理程序来处理建议。让我们得到关键字“Hom”的建议：

SolrQuery query = new SolrQuery();query.setRequestHandler("/suggest");query.set("suggest", "true");query.set("suggest.build", "true");query.set("suggest.dictionary", "mySuggester");query.set("suggest.q", "Hom");QueryResponse response = solrClient.query(query);
SuggesterResponse suggesterResponse = response.getSuggesterResponse();Map<String,List<String>> suggestedTerms = suggesterResponse.getSuggestedTerms();List<String> suggestions = suggestedTerms.get("mySuggester");