Elasticsearch基础分布式架构

Posted 2022-12-15 zouanning1986

Elasticsearch基础分布式架构

Elasticsearch对复杂分布式机制的透明隐藏特性

1. 隐藏了复杂的分布式机制
2. 分片机制：将document插入到es集群中的时候，我们没有关心过数据怎么进行分片的，数据到哪个shard中去。
3. cluster discovery:集群发现在机制，直接开启第二个es进程，那个进程作为一个node自动就发现了集群，并且加入了进去，还接受了部分数据，replica shard.
4. shard负载均衡：假设现在有3个节点，总共有25个shard要分配到3个节点上去，es会自动进行均匀分配，以保持每个节点的均衡的读写负载请求。
5. shard副本
6. 请求路由
7. 集群扩容：
8. shard重分配

Elasticsearch的垂直扩容与水平扩容

1. 垂直扩容：采购更强大的服务器，成本非常高昂，而且会有瓶颈，假设世界上最强大的服务器容量就是10T，但是当你的总数据容量达到5000T的时候，你要采购多少台最强大的服务器。
2. 水平扩容：业界经常采用的方案，采购越来越多的普通服务器，性能比较一般，但是很多普通服务器组织在一起就能构成强大的计算和存储能力。

增减或减少节点时数据rebalance

保持负载均衡：总有某些服务器的负载会重一些，承载的数量和请求量会大一些。

master节点

1. 创建或删除索引：比如说索引的创建和删除，维护索引元数据;节点的增加和移除，维护集群的元数据。
2. 增加或删除节点：默认情况下，会自动选择出一台节点，作为master节点，master节点不承载所有的请求，所以不会是一个单点瓶颈。

节点对等的分布式架构

1. 节点对等，每个节点都能接收所有请求，再将请求转发到有数据的节点，响应收集。
2. 自动请求路由
3. 响应收集