Elasticsearch利用scroll查询获取所有数据

Posted 风吹的心

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Elasticsearch利用scroll查询获取所有数据相关的知识,希望对你有一定的参考价值。

Elasticsearch有两种分页方式,一种是通过from和size条件来实现,但是该方法开销比较大,另一种是利用scroll来实现,通过scroll来实现分页获取所有的数据,下面是利用python实现的scroll获取全部数据的方式:

 1 from elasticsearch import Elasticsearch
 2 
 3 if __name__ == "__main__":
 4     es=Elasticsearch([{"host":"10.120.241.194","port":"9200"}])
 5     query_json={
 6         "match": {
 7             "type":3
 8         }
 9     }
10     queryData = es.search(index=‘index, scroll=5m, timeout=3s, size=100, body={"query":query_json})
11 
12     mdata = queryData.get("hits").get("hits")
13     if not mdata:
14         print empty!
15 
16     scroll_id = queryData["_scroll_id"]
17     total = queryData["hits"]["total"]
18     for i in range(total/100):
19         res = es.scroll(scroll_id=scroll_id, scroll=5m) #scroll参数必须指定否则会报错
20         mdata += res["hits"]["hits"]
21         print res
22     print mdata

通过上面的方法就可以获取es中符合条件的所有记录了。

 

如果出现{u‘index‘: None, u‘reason‘: {u‘reason‘: u‘No search context found for id [303859]‘, u‘type‘: u‘search_context_missing_exception‘}这样的问题,是因为代码第19行没有加上scroll参数

 

以上是关于Elasticsearch利用scroll查询获取所有数据的主要内容,如果未能解决你的问题,请参考以下文章

elasticsearch获取大批量数据时 深度分页(from&size) VS scroll游标查询

ElasticSearch中的Scroll机制

ElasticSearch如何一次查询出全部数据——基于Scroll

ElasticSearch操作之游标查询Scroll Search

ElasticSearch操作之游标查询Scroll Search

Elasticsearch分页查询