用 Elasticsearch 统计做了几次核酸检测？怎么破？

Posted 铭毅天下

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了用 Elasticsearch 统计做了几次核酸检测？怎么破？相关的知识，希望对你有一定的参考价值。

1、两个实战场景问题

事出有因，近期的两个问题比较类似：

  • Q1：如何在 Elasticsearch 实现统计做了 5 次（含以上）核酸检测的人员名单及详情？

  • Q2：请教下大家，业务场景要记录每个人的每天的出勤情况，今天出勤标记为1或者当天日期，未出勤不记录，或者为0，有个个人信息索引，那么这个出勤情况改怎么存储，用数组？还是这种场景不适合es？要实现：查询在某段时间至少出勤几次的人，这个字段目前存的是日期数组，然后我们有需要要查询比如1号到15号，至少出现3次 满足条件的人？

这两个问题本质是一类问题，这类问题涉及技术选型、方案选型、实现细节等问题，本篇文章我们一并讨论一下。

2、关于选型

先看 mysql 怎么搞！以核酸检测为例，设计两个基础表（以下信息已经全部脱敏处理）：

  • 表1：用户基础信息表 user_info

  • 表2：核酸检测信息表 nucleic_test_info

通过两个表关联，然后借助 having 条件判定加上时间条件判定过滤就能找到满足条件的数据。实现方式如下：

select s_id, s_id_number, s_name, nu_check_time from user_info, nucleic_test_info
where user_info.s_id = nucleic_test_info.nu_user_id
and nucleic_test_info.nu_user_id in
(select nu_user_id
from nucleic_test_info 
group by nu_user_id 
having count(nu_user_id) >= 5)
and nu_check_time >= "2022-03-01 00:00:00" and nu_check_time <= "2022-03-31 23:59:59";

用户期望的查询结果如下：

这个问题，如果用 Elasticsearch 会转嫁为两个核心问题：

  • 问题 1：选型问题——如上问题的选型 Elasticsearch 是否合适？

  • 问题 2：如果非要选型 Elasticsearch，那么如何实现上述 MySQL 的业务逻辑呢？

我们先先讨论问题 1。

多表关联是 Mysql 的强项，但是 Elasticsearch 就有些捉襟见肘、力不从心。

选型的时候要注意各取所长，将各个技术栈的优势发挥到极致。

MySQL 支持事务ACID 特性且支持多表关联，但太多表关联会有性能问题，《阿里巴巴Java开发手册》有强调“超过三个表禁止 Join”

Elasticsearch 更擅长大规模数据量级别的全文检索，且ELKB 整合优势对于数据分析也方便快捷。之前的文章咱们分析过：探究 | Elasticsearch 与传统数据库界限也推荐再次读一遍。

选型的细节还有很多综合因素，需要结合业务进行讨论，所以，这里我没有展开。

但，这时候同学可能会有疑问？那类似多表关联问题，Elasticsearch 就搞不定了？

不是的！

Elasticsearch 支持的关联方式核心就如下几大类：

  • 宽表方案

  • nested 嵌套文档实现

  • join 父子文档实现

  • 业务层面自己实现

本文是建立在选型 Elasticsearch 作为核酸检测存储方案的基础上，从数据建模、数据写入、数据检索实现三个维度对不同的实现方案进行拆解剖析。

为方便读者自己动手实战，本文会有大篇幅的 DSL，如有不适感，建议先关注文字描述和截图。

3、Elasticsearch 宽表实现

3.1 宽表 Mapping 建模

宽表的方案本质是“冗余存储”，借助“空间换时间”实现高效检索。

所以，该方案写入数据部分会有大量的冗余个人信息存储。

宽表存储

# 宽表创建索引
PUT nucleic_testing_infos

  "mappings": 
    "properties": 
      "s_id_number": 
        "type": "keyword"
      ,
      "s_phone": 
        "type": "keyword"
      ,
      "s_name": 
        "type": "keyword"
      ,
      "s_wx_id": 
        "type": "keyword"
      ,
      "s_address": 
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": 
          "keyword": 
            "type": "keyword"
          
        
      ,
      "nu_check_time": 
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      ,
      "nu_check_addr": 
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": 
          "keyword": 
            "type": "keyword"
          
        
      
    
  

如上所示：字段中规中矩。

3.2 数据写入

# 宽表导入数据集
PUT nucleic_testing_infos/_bulk
"index":"_id":1
"s_id_number":"910105197612304XXX","s_phone":"13655551111","s_name":"王小一","s_address":"京州市丰山区35号","s_wx_id":"wang_01","nu_check_time":"2022-03-01 17:06:10","nu_check_addr":"京州市丰山区核酸检测001号站"
"index":"_id":2
"s_id_number":"910105197612304XXX","s_phone":"13655551111","s_name":"王小一","s_address":"京州市丰山区35号","s_wx_id":"wang_01","nu_check_time":"2022-03-02 17:10:23","nu_check_addr":"京州市丰山区核酸检测002号站"
"index":"_id":3
"s_id_number":"910105197612304XXX","s_phone":"13655551111","s_name":"王小一","s_address":"京州市丰山区35号","s_wx_id":"wang_01","nu_check_time":"2022-03-05 10:10:23","nu_check_addr":"京州市丰山区核酸检测002号站"
"index":"_id":4
"s_id_number":"910105197612305XXX","s_phone":"13655552222","s_name":"张小二","s_address":"京州市海定区002号","s_wx_id":"zhang_02","nu_check_time":"2022-03-02 17:10:33","nu_check_addr":"京州市丰山区核酸检测002号站"
"index":"_id":5
"s_id_number":"910105197612305XXX","s_phone":"13655552222","s_name":"张小二","s_address":"京州市海定区002号","s_wx_id":"zhang_02","nu_check_time":"2022-03-28 17:15:28","nu_check_addr":"京州市丰山区核酸检测002号站"
"index":"_id":6
"s_id_number":"910105197612303XXX","s_phone":"13655553333","s_name":"刘三","s_address":"京州市海定区003号","s_wx_id":"liu_03","nu_check_time":"2022-03-02 17:15:01","nu_check_addr":"京州市海定区核酸检测站003号"

如上所示，为了保证检索的遍历，个人信息会有大量的“冗余”。

3.3 检索实现

宽表具体的实现

POST nucleic_testing_infos/_search

  "size": 0,
  "query": 
    "bool": 
      "must": [
        
          "range": 
            "nu_check_time": 
              "gte": "2022-03-01 00:00:00",
              "lte": "2022-03-31 23:59:59"
            
          
        
      ]
    
  ,
  "aggs": 
    "terms_aggs": 
      "terms": 
        "field": "s_id_number",
        "size": 10,
        "min_doc_count": 3
      ,
      "aggs": 
        "top_hits_aggs": 
          "top_hits": 
            "_source": 
              "includes": [
                "s_id_number",
                "s_phone",
                "s_name",
                "s_address",
                "s_wx_id",
                "nu_check_time",
                "nu_check_addr"
              ]
            ,
            "size": 10
          
        
      
    
  

  • 检索部分实现了 MySQL where 条件子句的功能；

  • 借助于基于身份证号的 terms 分桶聚合实现；

  • 参数：min_doc_count 实现了类似 MySQL having 条件的功能；

  • top_hits 聚合的目的是获取聚合后的详情信息。

4、Elasticsearch 宽表数组方案

既然上面的方案涉及到冗余存储，会有大量的空间浪费。

那自然有同学会想到：“我用数组存储核酸检测时间，地点我不考虑了，不就可以节约存储了”。

行，没问题，你说的都对。

但是实现起来，你看看下面的检索就知道——这也太太太复杂了吧？！

宽表数组形态

4.1 宽表数组方案

DELETE nucleic_testing_infos_array
PUT nucleic_testing_infos_array

  "mappings": 
    "properties": 
      "s_id_number": 
        "type": "keyword"
      ,
      "s_phone": 
        "type": "keyword"
      ,
      "s_name": 
        "type": "keyword"
      ,
      "s_wx_id": 
        "type": "keyword"
      ,
      "s_address": 
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": 
          "keyword": 
            "type": "keyword"
          
        
      ,
      "nu_check_time": 
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      
    
  

4.2 宽表数组写入

PUT nucleic_testing_infos_array/_bulk
"index":"_id":1
"s_id_number":"910105197612304XXX","s_phone":"13655551111","s_name":"王小一","s_address":"京州市丰山区35号","s_wx_id":"wang_01", "nu_check_time": ["2022-03-01T17:06:10Z", "2022-03-02T17:10:23Z", "2022-03-05T10:10:23Z"]
"index":"_id":2
"s_id_number":"910105197612305XXX","s_phone":"13655552222","s_name":"张小二","s_address":"京州市海定区002号","s_wx_id":"zhang_02","nu_check_time": ["2022-03-02T17:10:33Z", "2022-03-28T17:15:28Z"]
"index":"_id":3
"s_id_number":"910105197612303XXX","s_phone":"13655553333","s_name":"刘三","s_address":"京州市海定区003号","s_wx_id":"liu_03","nu_check_time":["2022-03-02T17:15:01Z"]

4.3 宽表数组检索实现

POST nucleic_testing_infos_array/_search

  "query": 
    "bool": 
      "filter": 
        "script": 
          "script": 
            "source": """
            double amount = doc['nu_check_time'].size();
            boolean flag = false;
            int icount =  0;
            
            String start_time = params.start_time;
            String end_time = params.end_time;
         
            ZonedDateTime start_zdt = ZonedDateTime.parse(start_time);
            ZonedDateTime end_zdt = ZonedDateTime.parse(end_time);
            
            long start_litmemills = start_zdt.toInstant().toEpochMilli();
            long end_litmemills = end_zdt.toInstant().toEpochMilli();
            
            for (item in doc['nu_check_time']) 
             
              long litmemills = item.toInstant().toEpochMilli();
              if(litmemills <= end_litmemills && litmemills >= start_litmemills)
              
                icount++; 
              
             
            if (icount >= params.length)
            
              flag = true;
            
            return (amount >= params.length && flag);
               """,
            "lang": "painless",
            "params": 
              "length": 3,
              "start_time": "2022-03-01T00:00:00Z",
              "end_time": "2022-03-31T23:59:59Z"
            
          
        
      
    
  

建模、写入不必多说。

着重说一下检索部分，检索部分用脚本实现。

  • 第一：统计了数组大小，数组大小必须的大于我们要求的检索值大小，否则没有意义。

  • 第二：统计各个时间字段是否在给定检索要求的时间范围内，如果在，就加1。

  • 第三：比较时间大小，转成了时间戳处理的方案，否则不好处理，仅字符串的比对会有很大的“瑕疵”。

5、Elasticsearch Nested 嵌套实现

5.1 nested 建模

DELETE nucleic_testing_infos_nested
PUT nucleic_testing_infos_nested

  "mappings": 
    "properties": 
      "s_id_number": 
        "type": "keyword"
      ,
      "s_phone": 
        "type": "keyword"
      ,
      "s_name": 
        "type": "keyword"
      ,
      "s_wx_id": 
        "type": "keyword"
      ,
      "s_address": 
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": 
          "keyword": 
            "type": "keyword"
          
        
      ,
      "check_time_flatted":
         "type": "date"
      ,
      "check_in": 
        "type": "nested",
        "properties": 
          "nu_check_time": 
            "type": "date",
             "copy_to": "check_time_flatted"
          ,
          "nu_check_addr": 
            "type": "text",
            "analyzer": "ik_max_word",
            "fields": 
              "keyword": 
                "type": "keyword"
              
            
          
        
      
    
  

这里必须强调的一点是：Nested 中元素的遍历非常“头痛”，“谁碰谁知道”。

所以这里通过“曲线救国“实现，将复杂的 Nested 数组问题借助 copy_to 拉平存储。

这点用过后会发现这个方案的巧妙之处。

思路参考：

https://stackoverflow.com/questions/64447956/how-to-iterate-through-a-nested-array-in-elasticsearch-with-filter-script

Nested 嵌套文档存储

Nested 嵌套文档建模推荐阅读：

Elasticsearch Nested 选型，先看这一篇！

干货 | Elasticsearch Nested类型深入详解

干货 | Elasticsearch Nested 数组大小求解，一网打尽！

5.2 Nested 写入数据

PUT nucleic_testing_infos_nested/_bulk
"index":"_id":1
"s_id_number":"910105197612304XXX","s_phone":"13655551111","s_name":"王小一","s_address":"京州市丰山区35号","s_wx_id":"wang_01","check_in":["nu_check_time":"2022-03-01T17:06:10Z","nu_check_addr":"京州市丰山区核酸检测001号站","nu_check_time":"2022-03-02T17:10:23Z","nu_check_addr":"京州市丰山区核酸检测002号站","nu_check_time":"2022-03-05T10:10:23Z","nu_check_addr":"京州市丰山区核酸检测002号站"]
"index":"_id":2
"s_id_number":"910105197612305XXX","s_phone":"13655552222","s_name":"张小二","s_address":"京州市海定区002号","s_wx_id":"zhang_02","check_in":["nu_check_time":"2022-03-02T17:10:33Z","nu_check_addr":"京州市丰山区核酸检测002号站","nu_check_time":"2022-03-28T17:15:28Z","nu_check_addr":"京州市丰山区核酸检测002号站"]
"index":"_id":3
"s_id_number":"910105197612303XXX","s_phone":"13655553333","s_name":"刘三","s_address":"京州市海定区003号","s_wx_id":"liu_03","check_in":["nu_check_time":"2022-03-02T17:15:01Z","nu_check_addr":"京州市海定区核酸检测站003号"]

5.3 Nested 检索实现

POST nucleic_testing_infos_nested/_search

  "query": 
    "bool": 
      "must": [
        
          "script": 
            "script": 
              "lang": "painless",
              "inline": """
              int icount = 0;
              int totalCount = 3;
              String start_time = '2022-03-01T00:00:00Z';
              String end_time = '2022-03-31T23:59:59Z';
         
              ZonedDateTime start_zdt = ZonedDateTime.parse(start_time);
              ZonedDateTime end_zdt = ZonedDateTime.parse(end_time);
            
              long start_litmemills = start_zdt.toInstant().toEpochMilli();
              long end_litmemills = end_zdt.toInstant().toEpochMilli();
              for (item in doc['check_time_flatted']) 
               
                long litmemills = item.toInstant().toEpochMilli();
                if(litmemills <= end_litmemills && litmemills >= start_litmemills)
                
                  icount++; 
                
               
              if(icount >= totalCount)
              
                 return true;
              
              """
            
          
        
      ]
    
  

检索的时候，基本就是照搬宽表数组的实现方案，不再赘述。

缺点：更新数据是更新的整篇文档，不是子文档独立更新。

而核酸检测的数据本质是：更新核酸检测时间信息，也就是只更新子文档就可以。

6、Join 父子文档实现

6.1 join 父子文档建模

DELETE nucleic_testing_infos_join
PUT nucleic_testing_infos_join

  "mappings": 
    "properties": 
      "s_id_number": 
        "type": "keyword"
      ,
      "s_phone": 
        "type": "keyword"
      ,
      "s_name": 
        "type": "keyword"
      ,
      "s_wx_id": 
        "type": "keyword"
      ,
      "s_address": 
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": 
          "keyword": 
            "type": "keyword"
          
        
      ,
      "my_join_field": 
        "type": "join",
        "relations": 
          "user": "nucleic_test"
        
      ,
      "nu_check_time": 
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      ,
      "nu_check_addr": 
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": 
          "keyword": 
            "type": "keyword"
          
        
      
    
  

父子文档建模

Join 类型建模参考：Elasticsearch 6.X 新类型Join深入详解

6.2 Join 父子建模批量导入数据

PUT nucleic_testing_infos_join/_doc/1?refresh

  "s_id_number": "910105197612304XXX",
  "s_phone": "13655551111",
  "s_name": "王小一",
  "s_address": "京州市丰山区35号",
  "s_wx_id": "wang_01",
  "my_join_field": 
    "name": "user"
  


PUT nucleic_testing_infos_join/_doc/2?refresh

  "s_id_number": "910105197612305XXX",
  "s_phone": "13655552222",
  "s_name": "张小二",
  "s_address": "京州市海定区002号",
  "s_wx_id": "zhang_02",
  "my_join_field": 
    "name": "user"
  


PUT nucleic_testing_infos_join/_doc/3?refresh

  "s_id_number": "910105197612303XXX",
  "s_phone": "13655553333",
  "s_name": "刘三",
  "s_address": "京州市海定区003号",
  "s_wx_id": "liu_03",
  "my_join_field": 
    "name": "user"
  


PUT nucleic_testing_infos_join/_doc/4?routing=1

  "nu_check_time": "2022-03-01 17:06:10",
  "nu_check_addr": "京州市丰山区核酸检测001号站",
  "my_join_field": 
    "name": "nucleic_test",
    "parent": "1"
  


PUT nucleic_testing_infos_join/_doc/5?routing=1

  "nu_check_time": "2022-03-02 17:10:23",
  "nu_check_addr": "京州市丰山区核酸检测002号站",
  "my_join_field": 
    "name": "nucleic_test",
    "parent":  "1"
  


PUT nucleic_testing_infos_join/_doc/6?routing=1

  "nu_check_time": "2022-03-05 10:10:23",
  "nu_check_addr": "京州市丰山区核酸检测002号站",
  "my_join_field": 
    "name": "nucleic_test",
    "parent":  "1"
  


PUT nucleic_testing_infos_join/_doc/7?routing=2

  "nu_check_time": "2022-03-02 17:10:33",
  "nu_check_addr": "京州市丰山区核酸检测002号站",
  "my_join_field": 
    "name": "nucleic_test",
    "parent":  "2"
  


PUT nucleic_testing_infos_join/_doc/8?routing=2

  "nu_check_time": "2022-03-28 17:15:28",
  "nu_check_addr": "京州市丰山区核酸检测002号站",
  "my_join_field": 
    "name": "nucleic_test",
    "parent":  "2"
  



PUT nucleic_testing_infos_join/_doc/9?routing=3

  "nu_check_time": "2022-03-02 17:15:01",
  "nu_check_addr": "京州市海定区核酸检测站003号",
  "my_join_field": 
    "name": "nucleic_test",
    "parent": "3"
  

6.3  Join 父子建模检索

POST nucleic_testing_infos_join/_search

  "query": 
    "has_child": 
      "type": "nucleic_test",
      "min_children": 3,
      "max_children": 10,
      "query": 
        "range": 
          "nu_check_time": 
            "gte": "2022-03-01 00:00:00",
            "lte": "2022-03-31 23:59:59"
          
        
      
    
  

父子文档的检索实现相比其他几种方案都要短不少。

实现方面有两个核心参数需要强调：

  • 参数1：min_children, max_children 最小孩子数以及最大孩子数。这是7.X 版本才有的特性。方面统计父文档下子文档数量多少。

  • 参数2：range 区间范围检索，用于过滤子文档的时间是否在检索要求的时间范围内。

7、 小结

除了MySQL 和 Elasticsearch，相关问题必然还会有其他实现方式，本文没有做全量覆盖。而仅就关系型数据库 MySQL 和 大数据全文检索引擎 Elasticsearch 为例展开讨论。

综上四种方案，父子文档相对灵活，应是选型中优先选择的。方案的对比如下：

如果有不同的建模建议，也欢迎留言交流讨论。

推荐

1、重磅 | 死磕 Elasticsearch 方法论认知清单（2021年国庆更新版）

2、如何从0到1打磨一门 Elasticsearch 线上直播课？（口碑不错）

3、如何系统的学习 Elasticsearch ？

4、干货 | Elasticsearch多表关联设计指南

更短时间更快习得更多干货！

和全球近 1600+ Elastic 爱好者一起精进！

比同事抢先一步学习进阶干货！

以上是关于用 Elasticsearch 统计做了几次核酸检测？怎么破？的主要内容，如果未能解决你的问题，请参考以下文章

核酸检测多少人为一组混检合适？

核酸检测多少人为一组混检合适？

心情被网易云笔记搞了几次，太难受了

复旦博士用130行代码搞定核酸统计，2分钟解决人工一小时工作量

复旦博士用130行代码搞定核酸统计，2分钟解决人工一小时工作量

请编写程序，统计键盘录入的字符串中出现了几次字符串”java”，并测试