说说 Elasticsearch filter 和 post_filter 的区别?
Posted 铭毅天下
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了说说 Elasticsearch filter 和 post_filter 的区别?相关的知识,希望对你有一定的参考价值。
1、线上问题
如上所示,问题是:“把 green 这个条件放到 query 里面做一个 bool 查询,有什么不一样吗?”
2、拿官方样例飞行数据举例
这个问题涉及到:filter(过滤器)和 post_filter(后过滤器)的区别,我们拿官方样例索引:kibana_sample_data_flights 做一样演示。
3、filter 过滤+聚合的场景
直接上 DSL,检索条件为:过滤目标城市为:CO(缩写代号)的数据,然后以目标天气执行聚合操作。本质是:先过滤后聚合。
POST kibana_sample_data_flights/_search
"query":
"bool":
"filter": [
"term":
"DestCountry": "CO"
]
,
"aggs":
"terms_aggs":
"terms":
"field": "DestWeather",
"size": 10
召回结果如下(忽略 检索部分,只保留聚合):
4、在filter 基础上加 post_filter 场景
POST kibana_sample_data_flights/_search
"query":
"bool":
"filter": [
"term":
"DestCountry": "CO"
]
,
"post_filter":
"term":
"FlightDelay": true
,
"aggs":
"terms_aggs":
"terms":
"field": "DestWeather",
"size": 10
原有的:filter + 聚合没有变化,在此基础上加了:post_filter。
聚合部分结果如下图所示,对比发现,和第2部分结果一致。
但是,我们再查看检索部分的结果,我们用:beyondcompare 软件对比一下,发现基本没有相同的。
仔细梳理检索结果,如下截图所示:
初步得出结论:
post filter :不影响聚合结果。
post filter:是在检索+聚合之后,对已有数据再次进行的过滤。所以,不影响聚合结果。
5、把 post filter 过滤条件移动到 filter 内部会怎么样呢?
检索语句为:
POST kibana_sample_data_flights/_search
"query":
"bool":
"filter": [
"term":
"DestCountry": "CO"
,
"term":
"FlightDelay": true
]
,
"aggs":
"terms_aggs":
"terms":
"field": "DestWeather",
"size": 10
直接看聚合结果:很明显聚合结果完全不一样!为什么?
检索条件更加细化了,样本值减少了,所以聚合数据结果各项都少了很多
初步结论:filter 过滤+聚合操作,本质是先 filter 过滤,然后再聚合操作。聚合是在已有 filter 过滤基础上执行的。
6、post_filter 还可以自定义评分
POST kibana_sample_data_flights/_search
"query":
"bool":
"filter": [
"term":
"DestCountry": "CO"
]
,
"post_filter":
"term":
"FlightDelay": true
,
"rescore":
"window_size": 50,
"query":
"rescore_query":
"term":
"FlightDelay": true
,
"query_weight": 0.7,
"rescore_query_weight": 12
在已有评分基础上,二次评分,这属于用户自定义评分的范畴。
7、小结
filter,应用于带 filter 子句的布尔查询,搜索请求后 filter 过滤条件对检索和聚合都产生影响。
post_filter,应用于执行检索之后或者聚合之后,可以看做“后过滤器”,对检索或聚合之后的结果集再进行过滤,只检索结果受影响。
推荐阅读
比同事抢先一步学习进阶干货!
以上是关于说说 Elasticsearch filter 和 post_filter 的区别?的主要内容,如果未能解决你的问题,请参考以下文章
说说 Elasticsearch filter 和 post_filter 的区别?
elasticsearch中Query DSL中的must和filter有啥区别?
吃透 | Elasticsearch filter和query的不同