Elasticsearch 7.X 集群环境搭建

Posted 2022-01-30 小毕超

一、Elasticsearch

上篇文章我们介绍了ES通过Restful的方式进行操作数据，本篇文章一起学习下ES 7.X 的集群环境的搭建，在生产环境中不可能ES以单节点的方式进行使用，即有可能出现单点故障问题。

上篇文章地址：https://blog.csdn.net/qq_43692950/article/details/122223494

在开始搭建之前先了解几个名词：

集群名称

一个集群就是由一个或多个服务器节点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就是elasticsearch。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

节点 Node

集群中包含很多服务器，一个节点就是其中的一个服务器。作为集群的一部分，它存储
数据，参与集群的索引和搜索功能。一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做elasticsearch的集群中。

在以前就写过ES集群的搭建教程，但是基于ES 6.X 的，7.X已经出来那么久了，当然要学习下新的东西。想了解ES 6.X 集群环境的搭建，可以参考下面这篇我的文章：

https://blog.csdn.net/qq_43692950/article/details/107689309

二、CenterOs下ES集群环境搭建

首先下载ES的安装包，和上篇文章一样，我们选择7.14.0这个版本的，尽量不要选最新的版本。

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

上篇文章我们选择的是window的，现在就要选择Linux版本的了。

在下载的时间可以看下我们的集群部署规划：

主机	角色
192.168.40.130	es1
192.168.40.167	es2
192.168.40.168	es3

我们这里采用三节点的部署，在生产环境最好，最少部署三个节点。

下面开始集群环境的搭建：

首先将下载好的安装包上传至每台服务器中，进行解压：

tar -zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz

因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户，或者使用一个普通用户，这里我创建一个 es 的新用户，在 root 用户中创建新用户：

新增用户

useradd es

为 es 用户设置密码

passwd es

将刚才解压的目录的权限赋给es用户，注意修改路径。

chown -R es:es /elasticsearc/elasticsearch-7.14.0

下面修改config/elasticsearch.yml文件，直接加入以下配制：

#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-1
#ip 地址，每个节点的地址不能重复
network.host: 192.168.40.130
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置,解决跨域问题
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["192.168.40.130:9300","192.168.40.167:9300","192.168.40.168:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

注意在不同节点需要修改：node.name 、 network.host 两个配制，其中cluster.name一定要保持一致，以代表同一个集群。

下面修改下 config/jvm.options ，这里我将ES的堆内容设为256m，虚拟机内存有限，注意生产环境根据实际的内存大小来设置，注意不要超过物理内存的一半，给Lucene 留出足够的空间。

-Xms256m
-Xmx256m

下面还要修改几个系统文件的限制：

修改/etc/security/limits.conf

最后追加内容:

es soft nofile 65536
es hard nofile 65536

也可以针对所有用户修改：

* soft nofile 65536
* hard nofile 131072

修改 /etc/security/limits.d/20-nproc.conf，在最后追加内容：

es soft nofile 65536
es hard nofile 65536
* hard nproc 4096

修改/etc/sysctl.conf，在最后追加：

vm.max_map_count=655360

刷新以上配制：

sysctl -p

下面就可以切换到es 用户，进行启动ES 了。

su es

进入es解压目录的bin 下，启动es

前台启动
./elasticsearch
后台启动
./elasticsearch -d

如果报错 Unable to access ‘path.data’ (/soft/elasticsearch/data)，是es解压目录下没有data目录，直接mkdir data 。

然后再此启动即可。

出现上面的内容就是启动成功了。

三、集群验证

在浏览器访问以下地址，三台中的随机一个ip即可：

http://192.168.40.130:9200/_cat/nodes?pretty

可以看到三个节点的信息，其中 * 代表这 Master 节点，也可以使用 elasticsearch-head 插件查看集群的情况：

下面我们测试下向 130 节点创建一个索引，去其他节点查询这个索引。

创建索引：

已经创建成功，下面在167和168节点进行查询：


都是可以查询到的，到此ES 7.X的集群环境搭建就结束了。

喜欢的小伙伴可以关注我的个人微信公众号，获取更多学习资料！