solr研磨之游标分页

Posted 2020-11-02 战斗民族就是干

作者：战斗民族就是干

转载请注明地址：http://www.cnblogs.com/prayers/p/8986498.html

　　

普通分页

　　当需要深度分页的时候，比如查询第10000页数据，每页显示10条，意味着需要提取前10000 x 10 页的数据，并将这100000条数据缓存在内存中，然后在内存中进行排序。最后返回最后10条即用户想要的第100000页数据。

　　缺点：

　　1、首先需要在内存缓存100000条数据需要占用大量的内存

　　2、并且在内存中对100000条数据进行排序也非常消耗CPU

　　因此普通分页方式比较适合返回TOPN条数据，翻页越翻到后面，分页查询性能越差，即使你开启了resultQueryCache

Cursor分页

　　Solr中的游标是一个逻辑概念，它不会在服务器上存储任何信息，而是返回一个下一页数据起始位置”Mark”标记值给用户，该标记表示着当前分页起始位置在查询匹配的整个索引结果集中的绝对索引位置。

　　想要在Solr中使用游标，你需要指定一个cursorMark参数比如：cursorMark＝*，你可以理解为它跟start=0类似。 然后此时Solr除了会返回一个TopN的结果集，同时还附带返回一个nextCursorMark值， nextCursorMark表示游标下一次遍历的起始位置即下一次分页从nextCursorMark位置开始返回。 nextCursorMark值是查询匹配结果集中的数据索引位置的编码值，每一次分页查询都需要带上cursorMark参数即cursorMark=nextCursorMark值（第一页除外），你可以重复这个过程，直到Solr返回的nextCursorMark=cursorMark， 那么就表明此时已经没有下一页了

　　注意：

　　　　1、cursorMark和start参数是互斥的，你不能同时指定这两个参数，或者也可以同时指定这两个参数，但是此时start参数必须等于零

　　　　2、sort语句必须包含唯一主键域，如果id是你的主键域，那么sort参数可以像这样设置： sort=idasc,name asc。 但是你不能设置sort=name desc

　　　　因为游标标记是根据结果集中每个索引文档的排序值进行计算出来的，这意味着如果两个文档的排序值相同，那么它们生成的游标值也是相同的，这个就是要求sort语句必须包含主键的原因

　　使用用例如下：第一次分页必须使用cursorMark=*

http://localhost:8080/solr/b2b/select?q=cmmdtyName:手机&sort=id asc&fl=id,cmmdtyCode&wt=json&indent=true&cursorMark=*&rows=1

　　返回结果集如下：　

{
responseHeader: {
status: 0,
QTime: 2
},
response: {
　　numFound: 484,
　　start: 0,
　　docs: [
　　{
　　　　id: "P2_000000010207451749_0070173948",
　　　　cmmdtyCode: "000000010207451749"
　　}
　　]
},
　　nextCursorMark: "AoE/AVAyXzAwMDAwMDAxMDIwNzQ1MTc0OV8wMDcwMTczOTQ4"
}

　　查询下一页的用例：　　

http://localhost:8080/solr/b2b/select?q=cmmdtyName:手机&sort=id asc&fl=id,cmmdtyCode&wt=json&indent=true&cursorMark=AoE/AVAyXzAwMDAwMDAxMDIwNzQ1MTc0OV8wMDcwMTczOTQ4&rows=1

　　这里的cursorMark参数值， 它需要与上一次分页查询结果集里返回的nextCursorMark属性值保持一致，直到返回的nextCursorMark等于当前的cursorMark，也就表明分页到底了

　　由于每一次请求下一页都需要上一页查询返回的nextCursonMark游标，所以无法实现指定页的查询请求，只能一页一页的翻下去，类似于链表