Composite 聚合——Elasticsearch 聚合后分页新实现

Posted 铭毅天下

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Composite 聚合——Elasticsearch 聚合后分页新实现相关的知识，希望对你有一定的参考价值。

1、聚合后分页应用场景

在常规检索的基础上，用户期望返回基于特定字段的聚合结果，且用户期望分页查看检索和聚合结果。

如下图所示：以2020东京奥运会热点新闻亚洲飞人"苏炳添”为例，用户期望查看有关“苏炳添”的新闻，同时期望查看相同标题的相似文章列表。

  • 标题：如“9秒98！苏炳添百米决赛第六！铭记这个历史瞬间!"，隶属：新闻的标题。

  • 相似文章数：如 26，需要借助：实时聚合实现。

  • 翻页：向后翻页或随机翻页。

显然，传统的from + size 分页检索不支持聚合后分页，已不能满足需求。

在【Elasticsearch聚合后分页深入详解】博文中，我探讨过聚合后分页查询的实现，核心方法是：需要借助程序自己实现。

那是 2018 年的博文，3.5 年后的 2021年，有没有新的实现方式呢？

2、聚合后分页新的实现

实际在 Elasticsearch 6.1 版本（2017年12月13日 发布）就推出了：Composite 聚合方式，能实现聚合后分页查询。

2.0 认知前提——单桶聚合&多桶聚合

一图胜千言。以如下图示，代表聚合之前的原始数据，无需过多解释，大家一看就明白。

  • name：product_0*: 产品名称；

  • color：颜色；

  • pt：发布时间；

  • brand：品牌；

  • price：价格。

数据建模如下：

PUT my-products
{
  "mappings": {
    "properties": {
      "brand": {
        "type": "keyword"
      },
      "pt": {
        "type": "date"
      },
      "name": {
        "type": "keyword"
      },
      "color": {
        "type": "keyword"
      },
      "price":{
        "type":"integer"
      }
    }
  }
}

批量写入数据如下：

PUT my-products/_bulk
{"index":{"_id":1}}
{"brand":"nike","pt":"2021-01-01","name":"product_01","color":"red","price":600}
{"index":{"_id":2}}
{"brand":"grke","pt":"2021-02-01","name":"product_02","color":"red","price":200}
{"index":{"_id":3}}
{"brand":"lining","pt":"2021-03-01","name":"product_03","color":"green","price":300}
{"index":{"_id":4}}
{"brand":"lining","pt":"2021-02-01","name":"product_04","color":"green","price":450}
{"index":{"_id":5}}
{"brand":"grke","pt":"2021-04-01","name":"product_05","color":"blue","price":180}
{"index":{"_id":6}}
{"brand":"grke","pt":"2021-02-01","name":"product_06","color":"yellow","price":165}
{"index":{"_id":7}}
{"brand":"grke","pt":"2021-02-01","name":"product_07","color":"yellow":"price":190}
{"index":{"_id":8}}
{"brand":"lining","pt":"2021-04-01","name":"product_08","color":"blue","price":500}
{"index":{"_id":9}}
{"brand":"nike","pt":"2021-01-01","name":"product_09","color":"blue","price":1000}

2.0.1 单桶聚合

terms 单桶聚合结果如下：

  • 以品牌类别聚合

实现如下：

POST my-products/_search
{
  "size": 0,
  "aggs": {
    "brand_terms": {
      "terms": {
        "field": "brand",
        "size": 10
      }
    }
  }
}

按照颜色、日期实现方式一致，不再赘述。

  • 以颜色聚合

  • 以日期聚合

2.0.2 多桶聚合

Elastic search 支持 multi-terms 多桶聚合。

multi-terms 是 terms 聚合的引申，terms 支持 单个关键字的聚合，而multi-terms 顾名思义——多个关键字的聚合。

举例：multi-terms 按照品牌、颜色两个桶聚合如下：

多桶聚合实现如下：

GET my-products/_search
{
  "size":0,
  "aggs": {
    "brands_and_colors_aggs": {
      "multi_terms": {
        "terms": [
          {
            "field": "brand"
          },
          {
            "field": "color"
          }
        ]
      }
    }
  }
}

多桶聚合返回结果如下：

这时候，不免会有问题，如果想按照品牌和价格区间(histogram）或日期区间（date_histogram) 实现聚合统计分析，该如何实现呢？

显然，multi-terms 聚合只支持：多个 terms 聚合操作，是不能满足需求的。

而，Composite 组合聚合应运而生，巧妙的解决了如上组合聚合问题。

2.1 Composite 聚合介绍

2.1.1 Composite 聚合定义

Composite 是个六级词汇，含义：并合的，复合的，混成的，合成的，集成的。

Composite 聚合是一种多桶聚合，可从不同来源创建复合桶。

具体哪些不同源呢？主要支持的聚合方式如下：

  • Terms 特定关键字聚合

  • Histogram 区间聚合

  • Date histogram 日期区间聚合

  • GeoTile grid Geo地理位置聚合

与其他多桶聚合不同，使用 Composite 聚合有效地对多级聚合( multi-level )中的所有桶进行分页。Composite 聚合提供了一种流式传输特定聚合的所有桶的方法，类似于Scroll 检索（滚动检索，适用于全量查询数据的业务场景）的实现。

关于Scroll 检索推荐阅读：

干货 | 全方位深度解读 Elasticsearch 分页查询

Composite 聚合是根据为每个文档提取/创建的值的组合构建的，每个组合都被视为一个复合桶（2.1.3 会详细举例什么是复合桶）。

2.1.2 Composite 聚合的核心功能

Composite 聚合较其他聚合的核心不同点如下：

  • 支持多类型组合桶聚合。打破传统多桶单类型聚合的壁垒，支持：Terms、Histogram、Data histogram、GeoTile grid Geo 聚合。

  • 支持聚合后分页。类似：scroll 检索的，仅支持向后翻页，不支持随机翻页。

2.1.3 Composite 聚合语法

Composite 语法参考如下：

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 5,
        "sources": [
          {
            "brand_terms": {
              "terms": {
                "field": "brand",
                "order": "asc"
              }
            }
          },
          {
            "prices_histogram": {
              "histogram": {
                "field": "price",
                "interval": 50,
                "order": "asc"
              }
            }
          }
        ],
        "after": {
          "brand_terms": "lining",
          "prices_histogram": 500
        }
      }
    }
  }
}

  • sources：指定组合分桶里各个分桶检索语句，可以是一个或者多个（中括弧里面包含多个大括弧子分桶聚合语句）。

  • size：每次返回的结果数。

  • after：翻页使用，每一次检索都会有一个：“after_key”键值对组合，供下次检索使用。

  • 复合桶：{ "brand_terms": "lining",  "prices_histogram": 500 } 实则为：品牌和价格区间两者组成的复合桶。

  • order：分桶内的排序方式。

3、Composite 聚合后分页实战演练

有了上面的分析，再来看Composite 聚合会非常轻松。

拿 2.0 小节的建模数据为示例。

假定需要实现：基于时间区间间隔一个月为单位，且基于品牌名称两个组合桶聚合，然后各个组合桶内实现聚合统计各个组合桶的平均价格。

拆解如下：

第一：组合桶。

  • 分桶一：data_histogram 实现按照发布时间间隔周期（指定为1个月）的聚合。

  • 分桶二：terms 品牌聚合。

第二：基于组合桶实现各个组合桶平均价格的统计。

通过组合指标聚合 avg aggregation 实现组合桶内求平均值的子聚合效果。

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size":5,
        "sources": [
          {
            "date": {
              "date_histogram": {
                "field": "pt",
                "calendar_interval": "1m",
                "order": "desc",
                "time_zone": "Asia/Shanghai"
              }
            }
          },
          {
            "product": {
              "terms": {
                "field": "brand"
              }
            }
          }
        ]
      },
      "aggregations": {
        "the_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回结果如下：

说好的聚合后分页呢？

就是在上面语句的后面，执行下一页翻页的时候，加上上一页返回的“after_key”值（对应如下代表标红：“after”部分）即可。

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 5,
        "sources": [
          {
            "date": {
              "date_histogram": {
                "field": "pt",
                "calendar_interval": "1m",
                "order": "desc",
                "time_zone": "Asia/Shanghai"
              }
            }
          },
          {
            "product": {
              "terms": {
                "field": "brand"
              }
            }
          }
        ],
        "after": {
          "date": 1612137600000,
          "product": "lining"
        }
      },
      "aggregations": {
        "the_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

在生产环境只需要将上述内容拼成java 或者 python 代码，实现向后翻页。

4、Composite 聚合注意事项

  • Composite 聚合仅能实现向后翻页，不支持随机翻页。

  • Composite 聚合目前与管道（pipeline）聚合（基于聚合结果的子聚合方式）不兼容，在大多数情况下也没有意义（会导致结果不准确）。

5、小结

本文重点讲述了聚合后分页的新实现方式——Composite 聚合，说新其实是较6.1 版本之前的自己实现的方式而言。

Composite 聚合的两大核心特点：组合桶（支持四种类型）聚合、聚合后分页。

您的实战环节有用到聚合后分页吗？如何实现的呢？欢迎留言交流细节。

参考

1. https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html

2. https://github.com/elastic/elasticsearch/pull/26800

3. https://ramyav.medium.com/composite-aggregation-using-java-api-38882cabc886

推荐

1、Elasticsearch 7.X 进阶实战私训课

2、如何系统的学习 Elasticsearch ？

3、全网首发！《 Elasticsearch 最少必要知识教程 V1.0 》低调发布

4、从实战中来，到实战中去——Elasticsearch 技能更快提升方法论

5、刻意练习 Elasticsearch 10000 个小时，鬼知道经历了什么？！

6、基于儿童积木玩具图解 Elasticsearch 聚合

更短时间更快习得更多干货！

中国50%+Elastic认证工程师出自于此！

比同事抢先一步学习进阶干货！

以上是关于Composite 聚合——Elasticsearch 聚合后分页新实现的主要内容，如果未能解决你的问题，请参考以下文章

组合/聚合复用原则

elasticsearch基础—— 复合聚合

面向对象设计原则之六：组合/聚集复用原则

elasticsear+kibana+logstash 优化

Spring Cloud 分布式链路跟踪 Sleuth + Zipkin + Elasticsear

Spring Cloud 分布式链路跟踪 Sleuth + Zipkin + Elasticsear