Elastic Search 集群

Posted 2021-03-02 jwen1994

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Elastic Search 集群相关的知识，希望对你有一定的参考价值。

ES 为什么要集群

高可用。高可用（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。
负载均衡。将流量均衡的分布在不同的节点上，每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以实现平衡。
高性能。将流量分发到不同机器，充分利用多机器多CPU，从串行计算到并行计算提高系统性能。

ES 集群的基本核心概念

Cluster 集群

一个 Elastic Search 集群由一个或多个节点（Node）组成，每个集群都有一个共同的集群名称作为标识。

Node 节点

一个 Elastic Search 实例即一个 Node，一台机器可以有多个实例，正常使用下每个实例应该会部署在不同的机器上。Elastic Search 的配置文件中可以通过 node.master、node.data 来设置节点类型。
node.master：表示节点是否具有成为主节点的资格
- true 代表的是有资格竞选主节点
- false 代表的是没有资格竞选主节点
node.data：表示节点是否存储数据

Node节点组合

主节点+数据节点（master+data）节点即有成为主节点的资格，又存储数据
- node.master: true
- node.data: true
数据节点（data）节点没有成为主节点的资格，不参与选举，只会存储数据
- node.master: false
- node.data: true
客户端节点（client）不会成为主节点，也不会存储数据，主要是针对海量请求的时候可以进行负载均衡
- node.master: false
- node.data: false

分片

每个索引有一个或多个分片，每个分片存储不同的数据。分片可分为主分片（primary shard）和复制分片（replica shard）。复制分片是主分片的拷贝。默认每个主分片有一个复制分片，一个索引的复制分片的数量可以动态地调整，复制分片从不与它的主分片在同一个节点上。

搭建 ES 集群

搭建步骤

拷贝 elasticsearch-7.2.0 安装包3份，分别命名 elasticsearch-7.2.0-a，elasticsearch-7.2.0-b，elasticsearch-7.2.0-c。
分别修改 elasticsearch.yml 文件。
分别启动 a，b，c 三个节点。
打开浏览器输入：http://localhost:9200/_cat/health?v，如果返回的 node.total 是3，代表集群搭建成功

第一个 yml 文件

#集群名称
cluster.name: my-application

#节点名称
node.name: node-1

#是不是有资格主节点
node.master: true

#是否存储数据
node.data: true

#最大集群节点数
node.max_local_storage_nodes: 3

#网关地址
network.host: 0.0.0.0

#端口
http.port: 9200

#内部节点之间沟通端口
transport.tcp.port: 9300

#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9300","localhost:9400","localhost:9500"]

#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

#数据和存储路径
#path.data: /Users/louis.chen/Documents/study/search/storage/a/data
#path.logs: /Users/louis.chen/Documents/study/search/storage/a/logs

第一个 yml 文件

第二个 yml 文件

#集群名称
cluster.name: my-application

#节点名称
node.name: node-2

#是不是有资格主节点
node.master: true

#是否存储数据
node.data: true

#最大集群节点数
node.max_local_storage_nodes: 3

#网关地址
network.host: 0.0.0.0

#端口
http.port: 9201

#内部节点之间沟通端口
transport.tcp.port: 9400

#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9300","localhost:9400","localhost:9500"]

#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

#数据和存储路径
#path.data: /Users/louis.chen/Documents/study/search/storage/a/data
#path.logs: /Users/louis.chen/Documents/study/search/storage/a/logs

第二个 yml 文件

第三个 yml 文件

#集群名称
cluster.name: my-application

#节点名称
node.name: node-3

#是不是有资格主节点
node.master: true

#是否存储数据
node.data: true

#最大集群节点数
node.max_local_storage_nodes: 3

#网关地址
network.host: 0.0.0.0

#端口
http.port: 9202

#内部节点之间沟通端口
transport.tcp.port: 9500

#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9300","localhost:9400","localhost:9500"]

#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

#数据和存储路径
#path.data: /Users/louis.chen/Documents/study/search/storage/a/data
#path.logs: /Users/louis.chen/Documents/study/search/storage/a/logs

第三个 yml 文件

kibana

打开配置 kibana.yml，添加 elasticsearch.hosts: ["http://localhost:9200","http://localhost:9201","http://localhost:9202"]
启动 kibana，可以看到集群信息

技术图片

ES 集群健康管理

查看集群的健康状态

http://127.0.0.1:9200/_cat/health?v

技术图片

status：集群的状态，red红表示集群不可用，有故障。yellow黄表示集群不可靠但可用，一般单节点时就是此状态。green正常状态，表示集群一切正常。
node.total：节点数，这里是3，表示该集群有三个节点。
node.data：数据节点数，存储数据的节点数，这里是3。
shards：表示我们把数据分成多少块存储。
pri：主分片数，primary shards
active_shards_percent：激活的分片百分比，这里可以理解为加载的数据分片数，只有加载所有的分片数，集群才算正常启动，在启动的过程中，如果我们不断刷新这个页面，我们会发现这个百分比会不断加大。