Elasticsearch7 分片/快照的速度/进度(qbit)

Posted qbit

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Elasticsearch7 分片/快照的速度/进度(qbit)相关的知识,希望对你有一定的参考价值。

背景说明

  • 本文对 Elasticsearch 7.13 适用

分片的速度与进度

分片的速度

  • cluster.routing.allocation.node_concurrent_recoveries

    单节点分片恢复的并发数
  • indices.recovery.max_bytes_per_sec

    单节点分片恢复的速率,适用于 peer recoveries 和 snapshot recoveries
    peer recoveries 对等恢复,增加副本数就是对等恢复
  • 上面两个参数都可以在集群配置里面查到

    GET _cluster/settings?flat_settings&include_defaults
  • 调整速度
PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.node_concurrent_recoveries": "4",
    "indices.recovery.max_bytes_per_sec": "100mb"
  }
}

分片的进度

GET _cat/recovery?v=true&h=i,s,t,ty,st,shost,thost,f,fp,b,bp
i               s t      ty   st    shost       thost       f     fp      b bp 
my-index-000001 0 1252ms peer done 192.168.1.1 192.168.1.2 0 100.0% 0 100.0%

快照的速度与进度

快照的速度

  • indices.recovery.max_bytes_per_sec 仍然有效
  • HDFS 与 S3

    max_snapshot_bytes_per_sec  指定创建快照时的速度,默认为 40mb/s
    max_restore_bytes_per_sec   指定数据恢复速度,默认无限制

    快照恢复的进度

    GET _cat/recovery?v=true&h=i,s,t,ty,st,rep,snap,f,fp,b,bp
    i               s t      ty       st    rep     snap   f  fp   b     bp 
    my-index-000001 0 1978ms snapshot done my-repo snap_1 79 8.0% 12086 9.0%

分片与快照恢复的进度

  • 查看分片未分配原因

    GET _cat/shards?v&h=index,docs,shard,prirep,state,unassigned.reason
  • 查看进度

    # 示例
    GET _cat/recovery?v=true&h=index,shard,time,type,stage,files_percent,bytes_percent
    # 示例(简写)
    GET _cat/recovery?v=true&h=i,s,t,ty,st,fp,bp
本文出自 qbit snap

以上是关于Elasticsearch7 分片/快照的速度/进度(qbit)的主要内容,如果未能解决你的问题,请参考以下文章

Elasticsearch7.8.0版本进阶——分片控制

Elasticsearch7.8.0版本优化——分片策略

Elasticsearch7.8.0版本进阶——数据读流程

Elasticsearch7.8.0版本进阶——路由计算

Elasticsearch 7.5.2 集群默认只为索引创建一个分片

「日记」ElasticSearch7.x新功能介绍