Es学习第十课，ElasticSearch集群搭建

Posted 2021-01-21 kakatadage

  前面几课我们已经把ES的基本概念和查询了解了，大家知道ES的核心优势就是天生支持分布式，所以，这课我们专门讲讲怎么搭建实现ES的集群部署。

ES分布式原理

  1、es分布式概念 

主分片（Primary shard） 索引的子集，索引可以切分成多个分片，分布到不同的集群节点上。分片对应的是 Lucene 中的索引。默认是根据id进行hash分片的。
副本分片（Replica shard）每个主分片可以有一个或者多个副本。
Mapping 相当于数据库中的schema，用来约束字段的类型，不过 Elasticsearch 的 mapping 可以自动根据数据创建。
分配（Allocation） 将分片分配给某个节点的过程，包括分配主分片或者副本。如果是副本，还包含从主分片复制数据的过程。

  在一个分布式系统里面,可以通过多个elasticsearch运行实例组成一个集群,这个集群里面有一个节点叫做主节点(master),elasticsearch是去中心化的,所以这里的主节点是动态选举出来的,不存在单点故障。es在外部看来elasticsearch就是一个整体。

在同一个子网内，只需要在每个节点上设置相同的集群名,elasticsearch就会自动的把这些集群名相同的节点组成一个集群。节点和节点之间通讯以及节点之间的数据分配和平衡全部由elasticsearch自动管理。

2、客户端请求

请求可以发送到es集群中的任意一个节点上，该节点会将请求的query转发给集群中所有节点，各个节点返回是否包含该query的倒排索引信息给该节点，然后该节点再发送二次请求给具体包含该query倒排的节点上进行计算。

3、es集群的选主和发现：

分布式系统要解决的第一个问题就是节点之间互相发现以及选主的机制。如果使用了 Zookeeper/Etcd 这样的成熟的服务发现工具，这两个问题都一并解决了。但 Elasticsearch 并没有依赖这样的工具，带来的好处是部署服务的成本和复杂度降低了，不用预先依赖一个服务发现的集群，缺点当然是将复杂度带入了 Elasticsearch 内部。

服务发现以及选主 ZenDiscovery

节点启动后先ping（这里的ping是 Elasticsearch 的一个RPC命令。如果 discovery.zen.ping.unicast.hosts 有设置，则ping设置中的host，否则尝试ping localhost 的几个端口， Elasticsearch 支持同一个主机启动多个节点）
Ping的response会包含该节点的基本信息以及该节点认为的master节点。
选举开始，先从各节点认为的master中选，规则很简单，按照id的字典序排序，取第一个。
如果各节点都没有认为的master，则从所有节点中选择，规则同上。这里有个限制条件就是 discovery.zen.minimum_master_nodes，如果节点数达不到最小值的限制，则循环上述过程，直到节点数足够可以开始选举。
最后选举结果是肯定能选举出一个master，如果只有一个local节点那就选出的是自己。
如果当前节点是master，则开始等待节点数达到 minimum_master_nodes，然后提供服务。
如果当前节点不是master，则尝试加入master。
Elasticsearch 将以上服务发现以及选主的流程叫做 ZenDiscovery 。由于它支持任意数目的集群（1-N）,所以不能像 Zookeeper/Etcd 那样限制节点必须是奇数，也就无法用投票的机制来选主，而是通过一个规则，只要所有的节点都遵循同样的规则，得到的信息都是对等的，选出来的主节点肯定是一致的。但分布式系统的问题就出在信息不对等的情况，这时候很容易出现脑裂（Split-Brain）的问题，大多数解决方案就是设置一个quorum值，要求可用节点必须大于quorum（一般是超过半数节点），才能对外提供服务。而 Elasticsearch 中，这个quorum的配置就是 discovery.zen.minimum_master_nodes 。

ES集群搭建流程

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。

打开elasticsearch.yml的第一眼，配置文件的实例非常的简单，我们主要讲两点：

cluster.name
配置es的集群名称，默认是elasticsearch，不同的集群用名字来区分，es会自动发现在同一网段下的es，配置成相同集群名字的各个节点形成一个集群。如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
http.port
设置对外服务的http端口，默认为9200。不能相同，否则会冲突。

安装实践

1、集群将部署3个节点：

节点1：

cluster.name:elasticsearch-test

http.port:9200

节点2：

cluster.name:elasticsearch-test

http.port:19200

节点3：

cluster.name:elasticsearch-test

http.port:29200

2、集群配置

上文提到过，只要集群名相同，且机器处于同一局域网同一网段，es会自动去发现其他的节点。

3、配置完成，启动三个es节点

4、上述三步完成后，一个集群就搭建好了，是不是很简单；这时我们通过客户端添加一个索引后，数据就会在这三个节点自动分片存储，同时ES会自动分配副本分片做备份。