Elasticsearch聚合后分页

Posted 2020-12-10 oxye

早上写了一篇
Elasticsearch去重查询/过滤重复数据（聚合）

但是没写分页实现，因为网上和书上暂时没查到什么方便又好的聚合后分页方式，不是我故意不写的

之前也看了下面这篇文章
Elasticsearch聚合后分页深入详解

文章里面说了，es本身不支持分页，因为性能和正确性得不到保障，作者提供了一个方法，属于笨方法，就是把聚合后的数据全存入内存中，例如放List中，然后自己根据分页参数（偏移量和页大小），使用List中的方法subList来截取数据

ps：笨方法：就比如做算法题，虽然能用暴力求解，但是性能和技巧性都很劝退我，但是如果没什么好办法，为了实现业务，如果场景允许，也是可以用的

List<E> subList(int fromIndex, int toIndex);

这样做的弊端显而易见，如果聚合后的数据过大，会占用太多内存空间，性能也不好。
但是，如果查询的页面数据量不是很大，比如几百几千的，如果数据结构不太复杂，list长度是几万也没问题
这种情况下，用
ps：记得一个同事从mysql拿10w条数据出来拼然后导出，被某个年限多点的同事吐槽质疑，实际上10w就占十几mb，远小于JVM的内存空间，比年轻代还小不少，这些朝生夕死的对象下次gc就被清除了，这样用没什么问题

把数据查出来，然后根据页码和页大小截取list，就8用我多说了8