Elasticsearch分页查询超过10000就报错

Posted 火_

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Elasticsearch分页查询超过10000就报错相关的知识,希望对你有一定的参考价值。

最近遇到的新问题,用Elasticsearch做分页查询,每次页数翻到101页Elasticsearch就会报错;

报错信息如下:

Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed]

Result window is too large, from + size must be less than or equal to: [10000] but was [10010].

问题原因

Elasticsearch用from+size方法分页时默认只展示10000条数据,计算公式:pageIndex * pageSize <=10000;

我这里报错是因为我一页展示100条数据,到第100页都是满足要求的,第101页时总数据量就大于10000了;

解决办法

方法1:

修改分页方法,不使用from+size的方式,用scroll滚动查询去查看数据,scroll滚动查询可以访问全量数据

方法2:

调整索引查询最大数量限制,max_result_window,不建议调很大,影响性能

PUT 索引名/_settings

  "index":
    "max_result_window":100000
  

以上是关于Elasticsearch分页查询超过10000就报错的主要内容,如果未能解决你的问题,请参考以下文章

解决 Elasticsearch 超过 10000 条无法查询的问题

Elasticsearch from+size 超过10000结果解决方法

elasticsearch 分页查询实现方案

Elasticsearch from+size 分页

elasticsearch获取大批量数据时 深度分页(from&size) VS scroll游标查询

Elasticsearch 的分页报错 result window is too large