浪潮信息分布式存储：基于全场景并发升级算法，实现在线升级

Posted 2023-03-22

版本升级是存储集群长期运行中必不可少的动作，通过版本升级可以增加功能、修复漏洞、提升性能，但离线升级方式或串行在线升级，对于金融、通信等对业务连续性和升级时效要求较高的行业来说是难以接受的。对此，浪潮信息在分布式存储平台上研发出在线并发升级算法，能够保证在不影响企业业务的前提下进行快速、可靠的版本迭代，实现整体存储平台升级效率提升超10倍。

在线并发升级 让升级更高效

浪潮信息研发的在线并发升级算法，相对于传统串行在线升级有两大优势：首先，其先进性在于从集群底层数据分布结构出发，对节点进行升级分类，可有效避免上层协议对于并发升级的影响，进而实现了集群全场景并发升级。其次，升级队列生成器可以根据当前集群实际情况制定出优化的升级策略，而升级控制器保证实际升级过程中能够综合各种集群服务状态，在确保集群业务正常的情况下动态调整各节点的升级顺序，进而实现在存储业务不受影响的前提下快速完成存储版本的迭代。 例如，在存储系统由70台设备组成的情况下，按照传统串行升级方式，整个存储集群完成升级耗时在8小时左右。在采用浪潮信息的并发升级技术后，存储集群升级耗时缩减至42分钟，整体升级时间缩短90%。​

图1. 串行、并发升级耗时曲线​

浪潮信息的并发升级技术之所以能有效提升集群整体升级效率，关键在于此技术能够根据存储系统底层结构将70个节点划分为5个升级组，单个升级组之间相互独立，可以进行并发升级。然后根据存储系统服务分布、存储池状态、阈值等信息综合计算得出单个升级组内可允许并行升级的节点个数，具体分组内容如下表所示：​

升级组​	服务器个数​	并发个数​
root_1​	9​	2​
root_2​	9​	3​
root_3​	12​	3​
root_4​	20​	4​
root_5​	20​	4​

表1. 升级组并发信息​

在进行分组后集群节点可进行两轮并发，首先是5个升级组间可以执行并发升级，其次单个升级组内节点按照并发个数进行并发升级。经过两轮并发升级后集群升级耗时被缩减至42分钟。​

图2，图3为某70个节点的存储集群升级前、升级中以及升级后的IOPS、带宽性能曲线图。存储集群在线升级时间为2022/06/29 01:00 – 02:00执行在线升级，在线升级期间IOPS、带宽性能与升级前、后保持一致并未有下降，仍维持在正常水平。​

图2 IOPS 性能曲线​

图3 带宽性能曲线​

在线并发升级 让升级更可靠

浪潮信息支持不同版本间的功能互通，即在整个升级期间不同版本间业务可以正常互通，不影响集群原功能的正常使用。

浪潮信息的分布式存储产品还支持暂停/继续功能。当在线升级时间窗口不足或节点升级异常时，用户可主动触发升级暂停动作，浪潮信息的分布式存储可以在记录下当前集群升级状态后进行集群状态恢复并退出升级。升级暂停期间浪潮信息支持系统多版本兼容，使得集群即使在各节点系统版本不一致的情况下，也可以维持整个存储系统的功能、稳定性和性能不受影响，集群仍可正常对外提供服务。此后用户可通过继续升级功能来恢复集群升级。暂停和继续功能不仅增加了升级功能的稳定性和健壮性，同时也解决了大规模集群用户升级时间窗口选择难的问题。

浪潮信息的分布式存储AS13000，基于在线并发升级功能，已经在金融、通信、医疗等行业实现规模部署，在实际升级操作中可快速、安全的实现分布式存储版本的迭代，有效提升升级效率、降低运维成本。未来，浪潮信息将持续秉承“存储即平台”战略，加速推进存储系统功能的研发和创新，助力各个行业全面释放数据价值，加速数字化转型。​

Kubernetes 面试题干货集锦

参考技术A

简述 etcd 及其特点？

答：etcd 是 CoreOS 团队发起的开源项目，是一个管理配置信息和服务发现

（service discovery）的项目，它的目标是构建一个高可用的分布式键值（key-value）

数据库，基于 Go 语言实现。

特点：

l 简单：支持 REST 风格的 HTTP+JSON API

l 安全：支持 HTTPS 方式的访问

l 快速：支持并发 1k/s 的写操作

l 可靠：支持分布式结构，基于 Raft 的一致性算法，Raft 是一套通过选举主节点来

实现分布式系统一致性的算法。

简述 etcd 适应的场景？

答：etcd 基于其优秀的特点，可广泛的应用于以下场景：

l 服务发现(Service Discovery)：服务发现主要解决在同一个分布式集群中的进程

或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解

集群中是否有进程在监听 udp 或 tcp 端口，并且通过名字就可以查找和连接。

一些配置信息放到 etcd 上进行集中管理。

l 负载均衡：在分布式系统中，为了保证服务的高可用以及数据的一致性，通常都

会把数据和服务部署多份，以此达到对等服务，即使其中的某一个服务失效了，

也不影响使用。etcd 本身分布式架构存储的信息访问支持负载均衡。etcd 集群化

以后，每个 etcd 的核心节点都可以处理用户的请求。所以，把数据量小但是访问

频繁的消息数据直接存储到 etcd 中也可以实现负载均衡的效果。

通过注册与异步通知机制，实现分布式环境下不同系统之间的通知与协调，从而

对数据变更做到实时处理。

l 分布式锁：因为 etcd 使用 Raft 算法保持了数据的强一致性，某次操作存储到集

群中的值必然是全局一致的，所以很容易实现分布式锁。锁服务有两种使用方式，

一是保持独占，二是控制时序。

l 集群监控与 Leader 竞选：通过 etcd 来进行监控实现起来非常简单并且实时性强。

简述 Kubernetes 和 Docker 的关系？

答：Docker 提供容器的生命周期管理和，Docker 镜像构建运行时容器。它的主要优

点是将将软件/应用程序运行所需的设置和依赖项打包到一个容器中，从而实现了可移

植性等优点。

Kubernetes 用于关联和编排在多个主机上运行的容器。

简述 Kubernetes 中什么是 Minikube、Kubectl、Kubelet？

答：Minikube 是一种可以在本地轻松运行一个单节点 Kubernetes 群集的工具。

Kubectl 是一个命令行工具，可以使用该工具控制 Kubernetes 集群管理器，如检查

群集资源，创建、删除和更新组件，查看应用程序。

Kubelet 是一个代理服务，它在每个节点上运行，并使从服务器与主服务器通信。

简述 Kubernetes 常见的部署方式？

答：常见的 Kubernetes 部署方式有：

l kubeadm：也是推荐的一种部署方式；

l 二进制：

l minikube：在本地轻松运行一个单节点 Kubernetes 群集的工具。

简述 Kubernetes 如何实现集群管理？

答：在集群管理方面，Kubernetes 将集群中的机器划分为一个 Master 节点和一群工

作节点 Node。其中，在 Master 节点运行着集群管理相关的一组进程 kube

apiserver、kube-controller-manager 和 kube-scheduler，这些进程实现了整个集

群的资源管理、Pod 调度、弹性伸缩、安全控制、系统监控和纠错等管理能力，并且

都是全自动完成的。

简述 Kubernetes 相关基础概念？

答：

l master：k8s 集群的管理节点，负责管理集群，提供集群的资源数据访问入口。

拥有 Etcd 存储服务（可选），运行 Api Server 进程，Controller Manager 服务

进程及 Scheduler 服务进程。

l node（worker）：Node（worker）是 Kubernetes 集群架构中运行 Pod 的服

务节点，是 Kubernetes 集群操作的单元，用来承载被分配 Pod 的运行，是 Pod

运行的宿主机。运行 docker eninge 服务，守护进程 kunelet 及负载均衡器

kube-proxy。

l pod：运行于 Node 节点上，若干相关容器的组合。Pod 内包含的容器运行在同

一宿主机上，使用相同的网络命名空间、IP 地址和端口，能够通过 localhost 进行通信。Pod 是 Kurbernetes 进行创建、调度和管理的最小单位，它提供了比容

器更高层次的抽象，使得部署和管理更加灵活。一个 Pod 可以包含一个容器或者

多个相关容器。

l label：Kubernetes 中的 Label 实质是一系列的 Key/Value 键值对，其中 key 与

value 可自定义。Label 可以附加到各种资源对象上，如 Node、Pod、Service、

RC 等。一个资源对象可以定义任意数量的 Label，同一个 Label 也可以被添加到

任意数量的资源对象上去。Kubernetes 通过 Label Selector（标签选择器）查询

和筛选资源对象。

l Replication Controller：Replication Controller 用来管理 Pod 的副本，保证集

群中存在指定数量的 Pod 副本。集群中副本的数量大于指定数量，则会停止指定

数量之外的多余容器数量。反之，则会启动少于指定数量个数的容器，保证数量

不变。Replication Controller 是实现弹性伸缩、动态扩容和滚动升级的核心。

l Deployment：Deployment 在内部使用了 RS 来实现目的，Deployment 相当

于 RC 的一次升级，其最大的特色为可以随时获知当前 Pod 的部署进度。

l HPA（Horizontal Pod Autoscaler）：Pod 的横向自动扩容，也是 Kubernetes

的一种资源，通过追踪分析 RC 控制的所有 Pod 目标的负载变化情况，来确定是

否需要针对性的调整 Pod 副本数量。

l Service：Service 定义了 Pod 的逻辑集合和访问该集合的策略，是真实服务的抽

象。Service 提供了一个统一的服务访问入口以及服务代理和发现机制，关联多个

相同 Label 的 Pod，用户不需要了解后台 Pod 是如何运行。

l Volume：Volume 是 Pod 中能够被多个容器访问的共享目录，Kubernetes 中的

Volume 是定义在 Pod 上，可以被一个或多个 Pod 中的容器挂载到某个目录下。l Namespace：Namespace 用于实现多租户的资源隔离，可将集群内部的资源对

象分配到不同的 Namespace 中，形成逻辑上的不同项目、小组或用户组，便于

不同的 Namespace 在共享使用整个集群的资源的同时还能被分别管理。

简述 Kubernetes RC 的机制？

答：Replication Controller 用来管理 Pod 的副本，保证集群中存在指定数量的 Pod

副本。当定义了 RC 并提交至 Kubernetes 集群中之后，Master 节点上的 Controller

Manager 组件获悉，并同时巡检系统中当前存活的目标 Pod，并确保目标 Pod 实例的数量刚好等于此 RC 的期望值，若存在过多的 Pod 副本在运行，系统会停止一些

Pod，反之则自动创建一些 Pod。

简述 Kubernetes 中 Pod 的重启策略？

答：Pod 重启策略（RestartPolicy）应用于 Pod 内的所有容器，并且仅在 Pod 所处

的 Node 上由 kubelet 进行判断和重启操作。当某个容器异常退出或者 健康 检查失败

时，kubelet 将根据 RestartPolicy 的设置来进行相应操作。

Pod 的重启策略包括 Always、OnFailure 和 Never，默认值为 Always。

l Always：当容器失效时，由 kubelet 自动重启该容器；

l OnFailure：当容器终止运行且退出码不为 0 时，由 kubelet 自动重启该容器；

l Never：不论容器运行状态如何，kubelet 都不会重启该容器。

同时 Pod 的重启策略与控制方式关联，当前可用于管理 Pod 的控制器包括

ReplicationController、Job、DaemonSet 及直接管理 kubelet 管理（静态 Pod）。

不同控制器的重启策略限制如下：

l RC 和 DaemonSet：必须设置为 Always，需要保证该容器持续运行；

l Job：OnFailure 或 Never，确保容器执行完成后不再重启；

l kubelet：在 Pod 失效时重启，不论将 RestartPolicy 设置为何值，也不会对 Pod

进行 健康 检查。

简述 Kubernetes Pod 的 LivenessProbe 探针的常见方式？

答：kubelet 定期执行 LivenessProbe 探针来诊断容器的 健康 状态，通常有以下三种

方式：

l ExecAction：在容器内执行一个命令，若返回码为 0，则表明容器 健康 。

l TCPSocketAction：通过容器的 IP 地址和端口号执行 TCP 检查，若能建立 TCP

连接，则表明容器 健康 。

l HTTPGetAction：通过容器的 IP 地址、端口号及路径调用 HTTP Get 方法，若响

应的状态码大于等于 200 且小于 400，则表明容器 健康 。

. 简述 Kubernetes Pod 的常见调度方式？

答：Kubernetes 中，Pod 通常是容器的载体，主要有如下常见调度方式：

l Deployment 或 RC：该调度策略主要功能就是自动部署一个容器应用的多份副本，

以及持续监控副本的数量，在集群内始终维持用户指定的副本数量。

l NodeSelector：定向调度，当需要手动指定将 Pod 调度到特定 Node 上，可以

通过 Node 的标签（Label）和 Pod 的 nodeSelector 属性相匹配。

l NodeAffinity 亲和性调度：亲和性调度机制极大的扩展了 Pod 的调度能力，目前

有两种节点亲和力表达：

l requiredDuringSchedulingIgnoredDuringExecution：硬规则，必须满足指定

的规则，调度器才可以调度 Pod 至 Node 上（类似 nodeSelector，语法不同）。

l preferredDuringSchedulingIgnoredDuringExecution：软规则，优先调度至满

足的 Node 的节点，但不强求，多个优先级规则还可以设置权重值。

l Taints 和 Tolerations（污点和容忍）：

l Taint：使 Node 拒绝特定 Pod 运行；

l Toleration：为 Pod 的属性，表示 Pod 能容忍（运行）标注了 Taint 的 Node。

简述 Kubernetes DaemonSet 类型的资源特性？

答：DaemonSet 资源对象会在每个 Kubernetes 集群中的节点上运行，并且每个节

点只能运行一个 pod，这是它和 deployment 资源对象的最大也是唯一的区别。因此，

在定义 yaml 文件中，不支持定义 replicas。

它的一般使用场景如下：

l 在去做每个节点的日志收集工作。

l 监控每个节点的的运行状态。

简述 Kubernetes Service 分发后端的策略？

答：Service 负载分发的策略有：RoundRobin 和 SessionAffinity

l RoundRobin：默认为轮询模式，即轮询将请求转发到后端的各个 Pod 上。

l SessionAffinity：基于客户端 IP 地址进行会话保持的模式，即第 1 次将某个客户

端发起的请求转发到后端的某个 Pod 上，之后从相同的客户端发起的请求都将被

转发到后端相同的 Pod 上。

简述 Kubernetes Scheduler 使用哪两种算法将 Pod 绑定到 worker 节点？

答：Kubernetes Scheduler 根据如下两种调度算法将 Pod 绑定到最合适的工作节点：

l 预选（Predicates）：输入是所有节点，输出是满足预选条件的节点。kube

scheduler 根据预选策略过滤掉不满足策略的 Nodes。如果某节点的资源不足或

者不满足预选策略的条件则无法通过预选。如“Node 的 label 必须与 Pod 的

Selector 一致”。

l 优选（Priorities）：输入是预选阶段筛选出的节点，优选会根据优先策略为通过

预选的 Nodes 进行打分排名，选择得分最高的 Node。例如，资源越富裕、负载

越小的 Node 可能具有越高的排名。

简述 Kubernetes Secret 有哪些使用方式？

答：创建完 secret 之后，可通过如下三种方式使用：

l 在创建 Pod 时，通过为 Pod 指定 Service Account 来自动使用该 Secret。

l 通过挂载该 Secret 到 Pod 来使用它。

l 在 Docker 镜像下载时使用，通过指定 Pod 的 spc.ImagePullSecrets 来引用它。

简述 Kubernetes 网络策略原理？

答：Network Policy 的工作原理主要为：policy controller 需要实现一个 API

Listener，监听用户设置的 Network Policy 定义，并将网络访问规则通过各 Node 的

Agent 进行实际设置（Agent 则需要通过 CNI 网络插件实现）。

简述 Kubernetes 集群联邦？

答：Kubernetes 集群联邦可以将多个 Kubernetes 集群作为一个集群进行管理。因此，

可以在一个数据中心/云中创建多个 Kubernetes 集群，并使用集群联邦在一个地方控

制/管理所有集群。

简述 Kubernetes 如何进行优雅的节点关机维护？

答：由于 Kubernetes 节点运行大量 Pod，因此在进行关机维护之前，建议先使用

kubectl drain 将该节点的 Pod 进行驱逐，然后进行关机维护。

. 简述 Kubernetes 中，如何使用 EFK 实现日志的统一管理？

答：在 Kubernetes 集群环境中，通常一个完整的应用或服务涉及组件过多，建议对

日志系统进行集中化管理，通常采用 EFK 实现。

EFK 是 Elasticsearch、Fluentd 和 Kibana 的组合，其各组件功能如下：

l Elasticsearch：是一个搜索引擎，负责存储日志并提供查询接口；

l Fluentd：负责从 Kubernetes 搜集日志，每个 node 节点上面的 fluentd 监控并

收集该节点上面的系统日志，并将处理过后的日志信息发送给 Elasticsearch；

l Kibana：提供了一个 Web GUI，用户可以浏览和搜索存储在 Elasticsearch 中的

日志。通过在每台 node 上部署一个以 DaemonSet 方式运行的 fluentd 来收集每台 node

上的日志。Fluentd 将 docker 日志目录/var/lib/docker/containers 和/var/log 目录

挂载到 Pod 中，然后 Pod 会在 node 节点的/var/log/pods 目录中创建新的目录，可

以区别不同的容器日志输出，该目录下有一个日志文件链接到

/var/lib/docker/contianers 目录下的容器日志输出。