es的scoll滚动查询技术

Posted 秦先生的客栈

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了es的scoll滚动查询技术相关的知识,希望对你有一定的参考价值。

如果一次性要查出来比如10万条数据,那么性能会很差,此时一般会采取用scoll滚动查询,一批一批的查,直到所有数据都查询完处理完

使用scoll滚动搜索,可以先搜索一批数据,然后下次再搜索一批数据,以此类推,直到搜索出全部的数据来
scoll搜索会在第一次搜索的时候,保存一个当时的视图快照,之后只会基于该旧的视图快照提供数据搜索,如果这个期间数据变更,是不会让用户看到的
采用基于_doc进行排序的方式,性能较高
每次发送scroll请求,我们还需要指定一个scoll参数,指定一个时间窗口,每次搜索请求只要在这个时间窗口内能完成就可以了

GET /test_index/test_type/_search?scroll=1m
{
  "query": {
    "match_all": {}
  },
  "sort": [ "_doc" ],
  "size": 3
}

 

{
  "_scroll_id":"DnF1ZXJ5VGhlbkZldGNoBQAAAAAAACxeFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYBY0b25zVFlWWlRqR3ZJajlfc3BXejJ3AAAAAAAALF8WNG9uc1RZVlpUakd2SWo5X3NwV3oydwAAAAAAACxhFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYhY0b25zVFlWWlRqR3ZJajlfc3BXejJ3",
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 10,
    "max_score": null,
    "hits": [{
      "_index": "test_index",
      "_type": "test_type",
      "_id": "8",
      "_score": null,
      "_source": {
        "test_field": "test client 2"
      },
      "sort": [0]
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "6",
      "_score": null,
      "_source": {
        "test_field": "tes test"
      },
      "sort": [0]
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "AVp4RN0bhjxldOOnBxaE",
      "_score": null,
      "_source": {
        "test_content": "my test"
      },
      "sort": [0]
    }]
  }
}

获得的结果会有一个scoll_id,下一次再发送scoll请求的时候,必须带上这个scoll_id

GET /_search/scroll
{
  "scroll": "1m",
  "scroll_id" :"DnF1ZXJ5VGhlbkZldGNoBQAAAAAAACxeFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYBY0b25zVFlWWlRqR3ZJajlfc3BXejJ3AAAAAAAALF8WNG9uc1RZVlpUakd2SWo5X3NwV3oydwAAAAAAACxhFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYhY0b25zVFlWWlRqR3ZJajlfc3BXejJ3"
}

 

scoll,看起来挺像分页的,但是其实使用场景不一样。分页主要是用来一页一页搜索,给用户看的;scoll主要是用来一批一批检索数据,让系统进行处理的

以上是关于es的scoll滚动查询技术的主要内容,如果未能解决你的问题,请参考以下文章

es使用与原理2 -- scoll技术,bouncing results,零停机重建索引等等

scoll滚动

es实战-滚动查询

如何在 qgraphicsview 中进行非平滑/逐步 scolling

PyQt5实现-将Matplotlib图像嵌入到Scoll Area中(显示滚动条)

当我调整窗口大小时如何使用滚动