什么是 Solr 中良好的自动预热查询以及它们如何工作？

Posted 2023-02-23

【中文标题】什么是 Solr 中良好的自动预热查询以及它们如何工作？

【英文标题】：What makes a good autowarming query in Solr and how do they work?

【发布时间】：2011-07-07 09:58:33

【问题描述】：

这个问题是对this question 的后续问题，关于 solr 安装中不常见的、孤立的读取超时。

发现新搜索者可能会丢失/错误的自动预热查询。

现在我对自动暖化查询应该“看起来像”多好感到困惑。

我阅读了但找不到任何好的文档。

他们应该点击索引中的大量文档吗？还是应该在索引中存在的所有不同字段中匹配？

*:* 会不会是最好的自动预热查询，或者为什么不呢？

示例 solr 配置中包含以下示例查询：

<lst><str name="q">solr</str> <str name="start">0</str> <str name="rows">10</str></lst>
<lst><str name="q">rocks</str> <str name="start">0</str> <str name="rows">10</str></lst>

我把它们改成：

<lst><str name="q">george</str> <str name="start">0</str> <str name="rows">10</str></lst>

为什么？因为索引包含具有标题和演员字段的电影实体。这些是搜索最多的。乔治出现在头衔和演员中。

我真的不知道这是否有意义。所以我的问题是：

对于我的索引，什么是好的自动预热查询？为什么？ 什么是好的自动预热查询？

这是索引中的示例文档。该索引有大约 70,000 个文档，它们都看起来像这样（当然只有不同的值）： 示例文档：

 <doc> 
  <arr name="actor"><str>Tommy Lee Jones</str><str>Will Smith</str><str>Rip Torn</str> 
    <str>Lara Flynn Boyle</str><str>Johnny Knoxville</str><str>Rosario Dawson</str><str>Tony Shalhoub</str> 
    <str>Patrick Warburton</str><str>Jack Kehler</str><str>David Cross</str><str>Colombe Jacobsen-Derstine</str> 
    <str>Peter Spellos</str><str>Michael Rivkin</str><str>Michael Bailey Smith</str><str>Lenny Venito</str> 
    <str>Howard Spiegel</str><str>Alpheus Merchant</str><str>Jay Johnston</str><str>Joel McKinnon Miller</str> 
    <str>Derek Cecil</str></arr> 
  <arr name="affiliate"><str>amazon</str></arr> 
  <arr name="aka_title"><str>Men in Black II</str><str>MIB 2</str><str>MIIB</str> 
    <str>Men in Black 2</str><str>Men in black II (Hombres de negro II)</str><str>Hombres de negro II</str><str>Hommes en noir II</str></arr> 
  <bool name="blockbuster">false</bool> 
  <arr name="country"><str>US</str></arr> 
  <str name="description">Agent J (Will Smith) muss die Erde wieder vor einigem Abschaum bewahren, denn in Gestalt des verführerischen Dessous-Models Serleena (Lara Flynn Boyle) will ein Alien den Planeten unterjochen. Dabei benötigt J die Hilfe seines alten Partners Agent K (Tommy Lee Jones). Der wurde aber bei seiner "Entlassung" geblitzdingst, und so muß J seine Erinnerung erst mal etwas auffrischen bevor es auf die Jagd gehen kann.</str> 
  <arr name="director"><str>Barry Sonnenfeld</str></arr> 
  <int name="film_id">120912</int> 
  <arr name="genre"><str>Action</str><str>Komödie</str><str>Science Fiction</str></arr> 
  <str name="id">120912</str> 
  <str name="image_url">/media/search/filmcovers/105x/kf/false/F6Q1XW.jpg</str> 
  <int name="imdb_id">120912</int> 
  <date name="last_modified">2011-03-01T18:51:35.903Z</date> 
  <str name="locale_title">Men in Black II</str> 
  <int name="malus">3238</int> 
  <int name="parent_id">0</int> 
  <arr name="product_dvd"><str>amazon</str></arr> 
  <arr name="product_type"><str>dvd</str></arr> 
  <int name="rating">49</int> 
  <str name="sort_title">meninblack</str> 
  <int name="type">1</int> 
  <str name="url">/film/Men-in-Black-II-Barry-Sonnenfeld-Tommy-Lee-Jones-F6Q1XW/</str> 
  <int name="year">2002</int> 
 </doc> 

大多数查询是对参与者字段的完全匹配查询，并带有一些过滤器。

例子：

信息：[] webapp=/solr path=/select/ params=facet=true&sort=score+asc,+malus+asc,+year+desc&hl.simple.pre=starthl&hl=true&version=2.2&fl=*,score&facet.query=year:[1900 +TO+1950]&facet.query=年:[1951+TO+1980]&facet.query=年:[1981+TO+1990]&facet.query=年:[1991+TO+2000]&facet.query=年: [2001+TO+2011]&bf=div(sub(10000,malus),100)^10&hl.simple.post=endhl&facet.field=genre&facet.field=country&facet.field=blockbuster&facet.field =affiliate&facet.field=product_type&qs=5&qt=dismax&hl.fragsize=200&mm=2&facet.mincount=1&qf=actor^0.1&f.blockbuster.facet.mincount=0&f.genre.facet.limit=20&hl.fl=actor&wt=json&f.affiliate。 facet.mincount=1&f.country.facet.limit=20&rows=10&pf=actor^5&start=0&q="Josi+Kleinpeter"&ps=3 hits=1 status=0 QTime=4

【参考方案1】：

有两种类型的变暖。查询缓存预热和文档缓存预热（还有过滤器，但与查询类似）。查询缓存预热可以通过一个设置来完成，该设置将在重新加载索引之前重新运行 X 个最近的查询。文档缓存变暖是不同的。

文档缓存预热的目标是将大量最常访问的文档放入文档缓存中，这样就不必从磁盘读取它们。因此，您的查询应该集中在这一点上。您需要尝试找出最常搜索的文档是什么并加载它们。最好使用最少数量的查询。这与字段的实际内容无关。编辑：澄清。当预热文档缓存时，您的主要兴趣是最常出现在搜索结果中的文档，无论它们是如何查询的。

就个人而言，我会搜索以下内容：

如果您的大部分搜索是美国电影，则按国家/地区加载。 如果您的大部分搜索都是针对较新的电影，则按年份加载。 如果您有大量搜索过的流派的简短列表，则按流派加载。

最后一种可能是全部加载。您的文档看起来很小。如今，就服务器内存而言，其中 70,000 个根本算不上什么。如果您的文档缓存足够大，并且您有足够的可用内存，那就去吧。附带说明一下，您的一些最大好处将来自您的文档缓存。查询缓存仅对重复查询有益，这可能令人失望地低。您几乎总能从大型文档缓存中受益。

【讨论】：

OP 可能也在使用字段和/或过滤器缓存，这也有助于热身。例如，如果您有一个枚举方面，它将缓存与该过滤器匹配的文档的位图，因此您需要对所有文档进行加热。在这种情况下，您的查询方式很重要，而不仅仅是结果。

@Xodarap - 我相信过滤器缓存可以隐式加热。它们在重新加载索引之前作为最近运行的查询的子集运行。虽然这是热插拔。在冷启动时，是的，查询很重要。