elasticsearch修改集群限制

Posted 2023-04-21

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了elasticsearch修改集群限制相关的知识，希望对你有一定的参考价值。

参考技术A 默认情况下，es节点data最大支持分片个数1000，在日志场景中，TB级别日志数据，需要调整分片数大小，集群data节点分片数量看情况配置

PUT /_cluster/settings

  "transient":

    "cluster":

      "max_shards_per_node":900000

Elasticsearch7.8.0版本入门——集群部署（linux环境-centos7）

一、三台服务器信息

三台服务器

服务器名称	服务器ip	es节点名称	es集群的名称
centos7虚拟机1	192.168.136.23	node-1	my-elasticsearch
centos7虚拟机2	192.168.136.24	node-2	my-elasticsearch
centos7虚拟机3	192.168.136.25	node-3	my-elasticsearch

二、Elasticsearch7.8.0单机部署

Elasticsearch7.8.0单机部署参考lz此博文了链接：https://blog.csdn.net/li1325169021/article/details/128901540?spm=1001.2014.3001.5501

三、Elasticsearch7.8.0集群部署

3.1、分别再三台服务器中都安装Elasticsearch7.8.0

分别再三台服务器中都安装Elasticsearch7.8.0，参考第二步的单机部署，区别是三者的elasticsearch配置文件只有node.name和ip不同，其余一样，指定node-1为master

3.2、修改192.168.136.23服务器中elasticsearch配置文件

修改node-1节点中/opt/es/elasticsearch-7.8.0/config/elasticsearch.yml 文件

#集群名称 每个集群的名称相同
cluster.name: my-elasticsearch
#节点名称，每个节点的名称不能重复 
node.name: node-1
 
#是不是有资格当主节点 
node.master: true
node.data: true
 
#ip 地址，每个节点的地址不能重复，节点启动端口号9200 
network.host: 192.168.136.23
http.port: 9200
 
# head 插件需要这打开这两个配置，防跨域 
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-credentials: true
http.max_content_length: 200mb
 
#es7.x 之后新增的配置，初始化一个新的集群时，需要配置默认的master 
cluster.initial_master_nodes: ["node-1"]
 
#es7.x 之后新增的配置，节点发现，广播 ，节点之间通信端口号9300
discovery.seed_hosts:["192.168.136.23:9300", "192.168.136.24:9300", "192.168.136.25:9300"]
gateway.recover_after_nodes: 2 
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
 
#集群内同时启动的数据任务个数，默认是 2 个 
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个 
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个 
cluster.routing.allocation.node_initial_primaries_recoveries: 16

3.2、修改192.168.136.24服务器中elasticsearch配置文件

修改node-2节点中/opt/es/elasticsearch-7.8.0/config/elasticsearch.yml 文件

#集群名称 每个集群的名称相同
cluster.name: my-elasticsearch
#节点名称，每个节点的名称不能重复 
node.name: node-2
 
#是不是有资格当主节点 
node.master: true
node.data: true
 
#ip 地址，每个节点的地址不能重复，节点启动端口号9200 
network.host: 192.168.136.24
http.port: 9200
 
# head 插件需要这打开这两个配置，防跨域 
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-credentials: true
http.max_content_length: 200mb
 
#es7.x 之后新增的配置，初始化一个新的集群时，需要配置默认的master 
cluster.initial_master_nodes: ["node-1"]
 
#es7.x 之后新增的配置，节点发现，广播 ，节点之间通信端口号9300
discovery.seed_hosts:["192.168.136.23:9300", "192.168.136.24:9300", "192.168.136.25:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true 
 
#集群内同时启动的数据任务个数，默认是 2 个 
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个 
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个 
cluster.routing.allocation.node_initial_primaries_recoveries: 16

3.3、修改192.168.136.25服务器中elasticsearch配置文件

修改node-3节点中/opt/es/elasticsearch-7.8.0/config/elasticsearch.yml 文件

#集群名称 每个集群的名称相同
cluster.name: my-elasticsearch
#节点名称，每个节点的名称不能重复 
node.name: node-3
 
#是不是有资格当主节点 
node.master: true
node.data: true
 
#ip 地址，每个节点的地址不能重复，节点启动端口号9200 
network.host: 192.168.136.25
http.port: 9200
 
# head 插件需要这打开这两个配置，防跨域 
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-credentials: true
http.max_content_length: 200mb
 
#es7.x 之后新增的配置，初始化一个新的集群时，需要配置默认的master 
cluster.initial_master_nodes: ["node-1"]
 
#es7.x 之后新增的配置，节点发现，广播 ，节点之间通信端口号9300
discovery.seed_hosts:["192.168.136.23:9300", "192.168.136.24:9300", "192.168.136.25:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
 
#集群内同时启动的数据任务个数，默认是 2 个 
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个 
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个 
cluster.routing.allocation.node_initial_primaries_recoveries: 16