ES 实战Shrink Index使用说明

Posted 2022-01-10 顧棟

文章目录

• ShrinkIndex使用说明
• • 使用前提
  • 功能实现
  • 举例说明
  • 过程监控

ShrinkIndex使用说明

将源索引按照特定的规则缩小成一个比源索引拥有更少主分片的新索引。

使用前提

• 选择一个shrink节点的存储必须可以满足源索引数据的两倍。
• 目标索引不能成存在
• 目标索引的主分片必须少于源索引的主分片数，且目标索引中主分片的数量必须是源索引中主分片数量的一个因子。
• 目标索引的单个分片的总文档数不能超过2147483519个。shrink的时候要计算好最少主分片数。
• 主分片数的个数是素数的话，只能收缩成一个主分片。

功能实现

引用官网的说明

1. 采用源索引的配置创建一个目标索引（新索引），降低了主分片数量
2. 然后将源索引中的Lucene的segments硬链接到目标索引中。 （如果文件系统不支持硬链接，那么所有segments都被复制到新索引中，这是一个更耗时的过程。）
3. 对目标索引进行恢复操作，就好像它是一个刚刚重新打开的关闭索引。

举例说明

1. 创建一个主分片数为5的索引。

PUT gudong20211220001

    "settings": 
        "index.number_of_shards" : 5
    

查询分片分配情况

GET _cat/shards/gudong20211220001?v

index             shard prirep state   docs store ip           node
gudong20211220001 1     p      STARTED    0  230b 192.168.1.2  es02
gudong20211220001 1     r      STARTED    0  230b 192.168.1.1  es01
gudong20211220001 2     p      STARTED    0  230b 192.168.1.2  es02
gudong20211220001 2     r      STARTED    0  230b 192.168.1.5  es05
gudong20211220001 4     p      STARTED    0  230b 192.168.1.2  es02
gudong20211220001 4     r      STARTED    0  230b 192.168.1.5  es05	
gudong20211220001 3     p      STARTED    0  230b 192.168.1.2  es02
gudong20211220001 3     r      STARTED    0  230b 192.168.1.1  es01
gudong20211220001 0     p      STARTED    0  230b 192.168.1.2  es02
gudong20211220001 0     r      STARTED    0  230b 192.168.1.5  es05

2. 源索引禁止写，同时选择一个节点进行shrink

PUT /gudong20211220001/_settings

  "settings": 
    "index.routing.allocation.require._name": "es05", 
    "index.blocks.write": true 
  

查询分片变化，发现进行shrink的节点有索引的一套完整数据。

index             shard prirep state   docs store ip           node
gudong20211220001 2     p      STARTED    0  261b 192.168.1.2  es02
gudong20211220001 2     r      STARTED    0  261b 192.168.1.5  es05
gudong20211220001 1     p      STARTED    0  261b 192.168.1.5  es05
gudong20211220001 1     r      STARTED    0  261b 192.168.1.1  es01
gudong20211220001 4     p      STARTED    0  261b 192.168.1.2  es02
gudong20211220001 4     r      STARTED    0  261b 192.168.1.5  es05
gudong20211220001 3     p      STARTED    0  261b 192.168.1.5  es05
gudong20211220001 3     r      STARTED    0  261b 192.168.1.1  es01
gudong20211220001 0     p      STARTED    0  261b 192.168.1.2  es02
gudong20211220001 0     r      STARTED    0  261b 192.168.1.5  es05

3. 缩小索引

POST gudong20211220001/_shrink/gudong20211220002?copy_settings=true

  "settings": 
    "index.routing.allocation.require._name": null, 
    "index.blocks.write": null 
  

POST gudong20211220001/_shrink/gudong20211220002?copy_settings=true

  "settings": 
    "index.routing.allocation.require._name": null, 
    "index.blocks.write": null,
    "index.soft_deletes.enabled": true 
  

查询分片分配，主分片也是在shrink节点上的。

index             shard prirep state   docs store ip           node
gudong20211220002 0     r      STARTED    0  230b 192.168.1.2  es02
gudong20211220002 0     p      STARTED    0  230b 192.168.1.5  es05

源索引的分片不会在shrik之后进行重新分配，源索引一般进行删除处理。

过程监控

GET _cat/recovery/gudong20211220002?v