干货 | Elasticsearch 8.X 版本升级指南

Posted 铭毅天下

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了干货 | Elasticsearch 8.X 版本升级指南相关的知识,希望对你有一定的参考价值。

1、Elasticsearch 版本升级常见问题

问题1:我现在集群是:5.X、6.X、7.X,要不要升级?

问题2:版本跨度这么大,如何升级?

7月6日,读者凌晨 00:30 留言:“怎么不出升级的文章呢?

需求比较迫切,所以,就有了今天的文章。

我们系统得敲一遍,让大家明白如何升级。

2、Elasticsearch 要不要升级?

Elasticsearch 版本迭代历史如下:

Elasticsearch 的特点就是一个字

  • 速度快,PB级别数据全文检索秒级响应,这是用户群体大的根因,不展开论述。

  • 版本更新快,几乎每个月都更新一个小版本,大版本基本2年左右升级一次。

所以,市面上的各家公司在使用 Elasticsearch 过程中,都有自己的版本选型。根据我个人的调研和不完全观察,当前 1.X、2.X、5.X、6.X、7.X、8.X 版本都有大量的公司在使用。

面临 Elasticsearch 的如此快速的迭代,大家都会有如下的疑惑:

  • 要不要升级?

  • 怎么升级?

  • 当前集群规模几十个甚至数百个节点,如何升级?

  • 升级有没有风险?会不会导致集群不可用?

  • 升级后,原有的 LowLevel REST客户端、HighLevel REST 客户端还能不能用?

  • 升级有没有兼容性问题?

  • 升级不成功或者成功后用得不爽,能否回退?

  • 新版本听说安全成为必选项,好不好用,如何用?

  • ......

层出不穷的问题,加上公司内部产品线版本的选型非一个人说了算,一般是群策群力,在充分调研或者验证的基础上,才敢给出具体的结论和可行的方案。

不升级是基于上面的疑惑,升级的原因如下:

  • 8.X 高版本的安全加固已成必须,想不做安全都变得很困难。

  • 8.X 高版本会在7.X版本上做的升级,低版本已知bug都已修复,理论上性能也更优。

  • 8.X 的新特性、新 feature,只有升级才能使用。

  • 现在不升级,未来推出 9.X 甚至 10.X,再升级可能会更麻烦。

  • ......

本文不做理论层面的过多阐释,直接拿已有的 7.13 版本的单节点 Elasticsearch集群一步步升级到 8.1.3 版本。

为什么没有选择最新的 8.3+ 版本?因为 Elastic 认证的版本刚从 7.13.0 升级到 8.1.3,我们就模拟这个版本。

3、版本升级认知

3.1 确定版本升级路线

想升级到哪个版本,就先看哪个版本的官方文档。

官方文档位置:

https://www.elastic.co/guide/en/elastic-stack/8.1/upgrading-elastic-stack.html

上面的说明很关键,针对不同的版本会有不同的升级步骤。

如果是 8.1.3 之前的 8.X 版本,直接升级就可以。

如果是 7.X 版本,需要先升级至7.X 最新版:7.17.5(下图蓝色部分),然后再由 7.17.5 升级到我们期望的 8.X 版本(下图红色部分)。

3.2 在路线的基础上,敲定升级步骤

由于我们是7.13版本,所以需要先升级到 7.17.5 版本。

这时候,再看 7.17.5 版本的官方文档。

https://www.elastic.co/guide/en/elastic-stack/7.17/upgrading-elastic-stack.html#prepare-to-upgrade

根据上面的版本选择并敲定如下的滚动升级步骤。

https://www.elastic.co/guide/en/elasticsearch/reference/7.17/rolling-upgrades.html

当升级到 7.17.5 之后,再看如何升级到 8.1.3 版本。

需要再次打开 8.1.3 版本的官方文档,敲定出:7.17.5 升级 到 8.1.3 版本的滚动升级步骤如下:

https://www.elastic.co/guide/en/elastic-stack/8.1/upgrading-elastic-stack.html#prepare-to-upgrade

本质上,这一步就简单了,借助:reindex 方式实现。

3.3 升级风险预案

升级势必会有风险,且不可回退。

所以,建议提前做好集群的快照,以备不时之需。

这是大前提,大家一定要做好万全的准备!

4、版本升级实战

现有集群:7.13.0版本,单节点。

7.13.0 版本已有数据列表。

两步骤策略如下:

第一步:7.13.0 版本升级到 7.17.5 版本。

第二步:7.17.5 版本升级到 8.1.3 版本。

4.1 7.13.0 升级到 7.17.5 实战

如下的操作针对的是云服务器上的 7.13.0 版本的集群。

步骤1:禁用副本分片分配

PUT _cluster/settings

"persistent": 
"cluster.routing.allocation.enable": "primaries"

单个节点不存在副本的分配,但是多个节点的集群环境,当一个节点关闭后,相关的分片会重新分配,并产生大量的磁盘IO。

步骤2:同步刷新

POST _flush/synced

停止非必要的索引操作并执行同步刷新,分片恢复会快得多。

步骤3:逐个kill掉节点。

pkill -f elasticsearch

我演示的是单个节点,直接暴力 kill 掉进程就可以。

步骤4:执行升级

1.  解压elasticsearch-7.17.5.tar.gz

这点和我们理想的不一样,不是点点按钮就能升级,而是底层文件层面的手动操作升级。

需要我们先下载 7.17.5 的安装包,部署细节不赘述。

2. 拷贝7.13版本的配置到7.17.5版本。
  • 拷贝 config 路径

  • 拷贝 jvm.options 文件(官方专门强调的)

cp -r ./elasticsearch-7.13.0/config/  ./elasticsearch-7.17.5/

上面已经全路径拷贝,下面有点多余了。

cp -r ./elasticsearch-7.13.0/config/jvm.options ./elasticsearch-7.17.5/config/jvm.options
3. 拷贝7.13版本下的path.data路径内容到7.17.5版本。
cp -r ./elasticsearch-7.13.0/data ./elasticsearch-7.17.5/

拷贝完,更新一下用户和用户组权限:

chown -R elasticsearch:elasticsearch elasticsearch-7.17.5

步骤5:更新插件、更新安全等

原集群只安装了中文分词 IK 插件,所以要先卸载该插件。

./bin/elasticsearch-plugin remove analysis-ik

再安装新版本插件

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip

步骤6:启动7.17.5版本节点

到此为止,7.13.0 升级为 7.17.5 完成!

但,总体进度只完成了一半,我们的目标是:8.1.X版本。

注:如果是多个节点,需要重复上面的步骤。

革命尚未成功,同志仍需努力!

4.2 7.17.5 升级到 8.1.3 实战

步骤 1:安装好 Elasticsearch 8.1.3,Kibana 8.1.3 版本。

具体部署推荐参考:

云服务器 Centos7 部署 Elasticsearch 8.0 + Kibana 8.0 指南

Windows 部署 Elasticsearch + kibana 8.0 指南

步骤 2:执行批量 reindex。

这里明显和 7.13.0 升级到 7.17.5 不一样了,采用了 reindex 索引数据迁移方式来实现了。

跨集群的 reindex,需要提前设置好白名单。

白名单设置位置——在目标集群的 elasticsearch.yml 文件中添加,源集群的节点ip,设置如下:

步骤3:批量脚本 reindex 迁移。

单个脚本验证ok,剩下的交个脚本。

如下是单个脚本的 reindex 迁移数据实现:

curl -XPOST   -H "Content-Type: application/json"  --cacert config/certs/http_ca.crt -u elastic:mimaxx 'https://localhost:9200/_reindex' -d '

  "source": 
    "remote": 
      "host": "http://172.21.0.14:19200",
      "username": "elastic",
      "password": "mima22x"
    ,
    "index": "users"
  ,
  "dest": 
    "index": "users"
  
'

全量集群索引的批量脚本 reindex 实现如下

#!/bin/sh
index_array=($(curl -XGET  -H "Content-Type: application/json"   -u elastic:mimaXXX 'http://172.21.0.14:19200/_cat/indices?v' | awk -F " " ' print $3 '))
echo $index_array[@]

for(( i=0;i<$#index_array[@];i++)) do
echo $index_array[i];
cur_index_name=$index_array[i];

curl -XPOST   -H "Content-Type: application/json"  --cacert config/certs/http_ca.crt -u elastic:mimaXXXX 'https://localhost:9200/_reindex' -d '

  "source": 
    "remote": 
      "host": "http://172.21.0.14:19200",
      "username": "elastic",
      "password": "mimaxxx"
    ,
    "index": "'"$cur_index_name"'"
  ,
  "dest": 
    "index": "'"$cur_index_name"'"
  
'

done;

核心就两个步骤:

  • 步骤1:批量获取 7.17.5 版本的集群的全量索引名称。

  • 步骤2:挨个遍历索引名称列表借助 reindex 实现跨集群索引迁移。

脚本执行截图:

8.1.3 版本 kibana 查看索引列表截图如下:

注:如果是多个节点,需要提前部署好 8.1.X的多个节点的集群环境。

5、小结

看似比较繁琐,梳理清楚后也就比较清晰了。

很多细节可能会和本文由细微差异或者还有本文没有覆盖到的点,建议参考官方文档。

Elasticsearch 采用了非常保守的升级策略,本质上是让集群的维护者、使用者自己去把控风险,手动升级。这或许也是 Elasticsearch 官方没有提供一键升级的原因。

因为,中间环节有太多不可控的因素。如果一键升级,每个用户的集群环境千差万别,会出各种问题。

全部交给用户手动升级,复杂是复杂了点,但这是保留用户体验方面折中的实现方案。

未来有没有可能出一键升级的方案呢?我们都很期待......

你的 Elasticsearch 集群是什么版本?有没有升级到最新版本呢?

欢迎留言交流。

推荐阅读

  1. 如何从0到1打磨一门 Elasticsearch 线上直播课?

  2. 重磅 | 死磕 Elasticsearch 方法论认知清单(2021年国庆更新版)

  3. 如何系统的学习 Elasticsearch ?

  4. 比快更快,Elasticsearch 8.0 正式发布!

  5. 干货 | Elasitcsearch7.X集群/索引备份与恢复实战

更短时间更快习得更多干货!

和全球 1700+ Elastic 爱好者一起精进!

比同事抢先一步学习进阶干货!

以上是关于干货 | Elasticsearch 8.X 版本升级指南的主要内容,如果未能解决你的问题,请参考以下文章

干货 | Elasticsearch 8.X 节点角色划分深入详解

干货 | Elasticsearch 8.X 节点角色划分深入详解

干货 | Elasticsearch 8.X 实战视频合集(80 小时+)

干货 | Elasticsearch 8.X 实战视频合集(80 小时+)

干货 | Elasticsearch 8.X 实战视频合集(80 小时+)

Elasticsearch:如何在 Docker 上运行 Elasticsearch 8.x 进行本地开发