ES 集群滚动升级

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ES 集群滚动升级相关的知识,希望对你有一定的参考价值。

参考技术A 如何将es cluster 5.5.0升级至 es cluster 5.6.14,参考如下表选用滚动升级方案来进行操作
下表显示何时可以执行滚动升级,什么时候需要重新索引或删除旧的索引,以及何时需要完整的群集重新启动。

[a] 在升级之前,您必须删除或重新索引在2.x中创建的任何索引。
[b] 从6.0.0之前的GA版本升级需要完整的群集重启。

滚动升级允许Elasticsearch群集一次升级一个节点,因此升级不会中断服务。一旦超过升级期限,在同一集群中运行多个版本的Elasticsearch是不支持的,因为无法将分片从已升级的节点复制到运行旧版本的节点。

滚动升级可以在次要版本之间执行。Elasticsearch 6.x支持Elasticsearch 5.6的滚动升级。从较早的5.x版本升级需要完整的群集重启。您必须重新索引以从5.x之前的版本升级。

执行同步刷新时,请检查响应以确保没有故障失败。由于挂起索引操作而失败的同步刷新操作在响应体中列出,尽管请求本身仍然返回200 OK状态。如果出现故障,请重新发出请求。

HDFS集群滚动升级


1 介绍

HDFS滚动升级允许升级单个HDFS守护程序。例如,可以独立于NameNodes升级DataNodes。也可以独立于其他NameNodes升级单独NameNode。也可以独立于DataNodes和journal nodes升级NameNodes。

2 升级

在Hadoop v2中,HDFS支持NameNode高可用(HA)和线路兼容性(wirecompatibility)。这两个功能使升级HDFS变得可行,且不会导致HDFS停机。 为了在不停机的情况下升级 HDFS 群集,必须使用 HA 设置群集。如果新软件版本中启用了任何新功能,则升级后可能无法与旧软件版本一起使用。在这种情况下,应按照以下步骤进行升级。禁用新功能、升级集群、启用新功能。
请注意,仅从Hadoop-2.4.0起才支持滚动升级。

2.1 不停机升级

在HA群集中,有两个或多个NameNode(NN),许多DataNode(DN),一些JournalNode
(JN)和一些ZooKeeperNode(ZKN)。JN相对稳定,在大多数情况下,升级HDFS时不需要升级。 滚动升级过程 中 ,仅 针对 NNs 和 DNs , JNS 和 ZKNs 都没有。升级JN和ZKN可能
会导致群集停机。

2.1.1 升级非联邦集群

假设有两个名称节点NN1和NN2,其中NN1和NN2分别处于Active和StandBy状态。以下是升级HA群集的步骤:
➢ 准备滚动升级
运行hdfs dfsadmin -rollingUpgrade prepare 以创建用于回滚的fsimage
运行hdfs dfsadmin -rollingUpgrade query 以检查回滚fsimage的状态。等待
并重新运行命令,直到显示Proceeding with Rolling Upgrade信息。
➢ 升级Active和StandBy NN
关闭并升级NN2。
启动NN2成为StandBy状态通过-rollingUpgrade started选项。
从NN1到NN2的故障转移,以便NN2变为活动状态,而NN1变为待机状态。
关闭并升级NN1。
启动NN1成为StandBy状态通过-rollingUpgrade started选项。
➢ 升级DN
选择一小部分DN节点(例如,特定机架下的所有数据节点)。
运行hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> upgrade以
关闭所选的DN。
运行hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>进行检查,
然后等待DN关闭。
升级并重启DN节点。
对子集中的所有选定DN节点并行执行以上步骤。
重复上述步骤,直到升级群集中的所有DN节点。
➢ 完成滚动升级
运行hdfs dfsadmin -rollingUpgrade finalize完成滚动升级。

2.1.2 升级联邦集群

在联邦集群中,有多个名称空间以及每个名称空间的一对Active和StandBy NN。
升级联合群集的过程类似于升级非联邦群集的过程,不同之处在于
为每个命名空间准备滚动升级
升级每个命名空间的Active和StandBy NN
升级DN
完成每个命名空间的滚动升级

2.2 停机升级

对于非HA群集,无法在没有停机的情况下升级HDFS,因为它需要重新启动NN。但是,DN仍可以滚动方式升级。

2.2.1 升级非HA集群

在非HA群集中,有一个NameNode(NN),SecondaryNameNode(SNN)和许多DataNodes
(DN)。升级非HA群集的过程与升级HA群集的过程类似,不同之处在于,将升级非HA
集群中的第2步“升级活动和备用NN升级”更改为以下内容:
➢ 升级NN和SNN
关闭SNN
关闭并升级NN。
使用-rollingUpgrade started 选项启动NN。
升级并重新启动SNN

3 降级和回滚

如果不希望使用升级版本,或者在某些不太可能的情况下,升级失败(由于较新
版本中的错误),管理员可以选择将HDFS降级到升级前版本,或将HDFS回滚到升级前
版本和升级前的状态。
请注意,降级可以滚动方式进行,但不能回滚。回滚要求集群停机。
还请注意, 只有在开始滚动升级之后且终止升级之前,才可以进行降级和回滚。
可以通过完成,降级或回滚来终止升级。因此,可能无法在完成或降级之后执行回滚,
或者在完成后无法执行降级。

3.1 降级

降级会将软件还原回升级前的版本,并保留用户数据。假设时间T是滚动升级开始时间,并且升级通过降级终止。然后,在T之前或之后创建的文件在HDFS中仍然可用。在T之前或之后删除的文件在HDFS中仍然被删除。仅当两个版本之间的namenode布局版本和datanode布局版本均未更改时,才可以将较新的版本降级为升级前的版本。在高可用性集群中,当正在进行从旧软件版本到新软件版本的滚动升级时,可以滚动方式将升级后的计算机降级到旧软件版本。与之前相同,假设NN1和NN2分别处于活动状态和待机状态。以下是在不停机的情况下进行降级的步骤:降级DN选择一小部分数据节点(例如,特定机架下的所有数据节点)。
运行“ hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT>
upgrade ”以关闭所选的数据节点之一。
运行“ hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT> ”进
行检查,然后等待数据节点关闭。
降级并重新启动datanode。
对子集中的所有选定数据节点并行执行以上步骤。
重复上述步骤,直到集群中所有升级的数据节点降级。
降级活动和备用NN
关闭和降级NN2。
正常启动NN2作为待机。
从NN1到NN2的故障转移,以便NN2变为活动状态,而NN1变为待机状态。
关闭并降级NN1。
正常启动NN1作为待机。
完成滚动降级
运行“ hdfs dfsadmin -rollingUpgrade finalize ”以完成滚动降级。
请注意,在降级名称节点之前,必须先降级数据节点,因为协议可以以向后兼容
的方式更改,但不能向前兼容,即,旧的数据节点可以与新的名称节点对话,反之则
不行。

3.2 回滚

回滚将软件还原到升级前的版本,但也将用户数据还原到升级前的状态。假设时间T是滚动升级开始时间,并且升级通过回滚终止。T之前创建的文件在HDFS中仍然可用,但T之后创建的文件不可用。T之前删除的文件在HDFS中仍然被删除,但是T之后删除的文件被恢复。
始终支持从较新版本回滚到升级前版本。但是,这不能以滚动方式完成。它需要
集群停机。假设NN1和NN2分别处于活动状态和待机状态。以下是回滚的步骤:
回滚HDFS
关闭所有NN和DN。
在所有计算机上还原升级前的版本。
开始NN1为活动的“ -rollingUpgrade回滚”选项。
在NN2上运行`-bootstrapStandby’并以待机状态正常启动。
使用“ -rollback ”选项启动DN。

4 滚动升级相关命令

4.1 dfsadmin –rollingUpgrade

hdfs dfsadmin -rollingUpgrade <query|prepare|finalize>

4.2 dfsadmin –getDatanodeInfo

hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>
获取有关给定datanode的信息。该命令可以像Unix ping命令一样用于检查数据
节点是否处于活动状态。

4.3 dfsadmin –shutdownDatanode

hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> [upgrade]
提交给定datanode的关闭请求。如果指定了可选的升级参数,则建议访问数据节
点的客户端等待其重启,然后启用快速启动模式。如果重启不及时,客户端将超时并
忽略数据节点。在这种情况下,快速启动模式也将被禁用。
请注意,该命令不会等待数据节点关闭完成。dfsadmin -getDatanodeInfo命令可
用于检查数据节点关闭是否完成。

4.4 namenode –rollingUpgrade

hdfs namenode -rollingUpgrade <rollback|started>

以上是关于ES 集群滚动升级的主要内容,如果未能解决你的问题,请参考以下文章

通过TiDB Operator升级TiDB集群

[译]HDFS 滚动升级和降级

ES版本升级并迁移数据

ES版本升级并迁移数据

ES版本升级并迁移数据

升级与升级后常见问题