k8s多集群分发方案karmada解析

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了k8s多集群分发方案karmada解析相关的知识，希望对你有一定的参考价值。

参考技术A

k8s官方宣称 支持最大150000个pods，5000个node。但是现实生产环境中业务时常有超过该规模的述求，比如说大型电商如淘宝，拼多多，又比如AI和大数据处理的workflow。同时出于合作和业务述求，一家公司还有可能将业务部署到不同的云厂商，或者自建机房和公有云配合使用。因此k8s多集群方案也是云原生领域的一个热点。

目前主要的多集群问题有：

Karmada是基于 kubefed v2 进行修改的一个项目，因此里面很多概念都是取自kubefed v2
。

接下来我们会通过官方的demo来体验一下使用。

PropagationPolicy 和 OverridePolicy 都是从kubefed v2继承的概念：

这里直接用官方样例对Karmada的 PropagationPolicy 和 OverridePolicy 进行介绍。

首先我们在global集群中部署一个nginx的应用 Deployment ：

我们想要将这个deployment分发到 cluster1 和 cluster2 两个工作集群中，那么我们需要创建一个 PropagationPolicy 来声明 Deployment 的分发规则：

上面这个 PropagationPolicy 通过spec中的 resourceSelectors 声明作用的对象为nginx的 Deployment ，而 placement 指明分发规则为分发到 cluster1 和 cluster2 。因此调度结果如下所示，在 cluser1 和 cluster2 两个工作集群中都会创建这个nginx的Deployment:

没有OverridePolicy，则worker集群中的deployment和global的deployment的spec相同，但是我们有可能是要针对worker集群的不同或者业务需求修改内容。

比如现在我们修改cluster1中的deployment的image为 nginx:test ，用来做一个灰度发布。则我们可以创建一个如下的 OverridePolicy ：

则新的部署结果如下图：

通过阅读Karmada的源码后，整理了整个的对象处理流程如下图所示

通过对Karmada的文档和源码分析，Karmada相对于kubefed v2的最大优点： 完全兼容k8s的API 。

应用从单集群扩展为多集群时，不需要修改源文件，仅需要添加多集群的manifest包括PropagationPolicy和OverridePolicy，这些文件完全可以由运维同学来添加。因此用户迁移和学习成本不大。

但是Karmada也有一些缺点：

Karmada出发点是想让用户尽量不要修改原始的物料，来完成单集群到多集群的修改。但是本文也指出了Karmada的一些缺点(也是感谢评论区的指正)。同时社区也有一个竞品方案 https://open-cluster-management.io/ ，但是整体开发进度没有karmada快，过段时间也会专门对比一下。

Kind 部署 Karmada 多集群管理

什么是 Karmada ？

Karmada 是 CNCF 的云原生项目，主要的能力是纳管多个 Kubernetes 集群，以及基于原生的 Kubernetes 的资源对象，将其下发到多个集群。对于一些有计算资源需求的 Deployment，Job 等 workload 具体副本数调度能力，让不同的 workload 按照一些的策略运行在不同的集群上。以此来达到多云分发的能力的这么一个项目。

Karmada 和 Kubernetes 的关系：首先 Karmada 本身需要运行在 Kubernetes 集群中，这样的 Kubernetes 集群，我们称作为 Host Cluster (宿主集群)，主要是用来运行 Karmada 控制平面的组件，其中包含 Karmada 的 etcd，karmada-api server， karmada-controller manager， Kubernetes controller manager，karmada-scheduler，karmada-webhook， karmada-scheduler-estimator 等控制面的组件。还有一种集群是负责真正运行工作负载的集群，对于这种集群，我们称之为 Workload Cluster。在 Workload Cluster 集群中，会真正运行业务的容器、一些 Kubernetes 的资源对象、存储、网络、dns 等，同时对于 pull 模式的部署方式，还会运行 Karmada 的 agent 组件，用于和控制面组件通信，完成工作负载的下发能力。

安装部署

Kind 创建集群

本次实验环境使用 Kind 创建集群，因此需要提前安装好 Kind。请自行搜索安装。

我们直接使用 Karmada 为我们提供的脚本部署集群。

Kind配置文件

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
networking:
  apiServerAddress: "10.115.92.94"
  apiServerPort: 6443
  kubeProxyMode: "ipvs"
nodes:
- role: worker
  extraPortMappings:
  - containerPort: 32443
    hostPort: 5443
    listenAddress: "0.0.0.0"
    protocol: tcp
- role: control-plane

若需执行上面的 kind 配置文件，按照下面步骤进行修改。

# 1. vim 打开创建集群的脚本
vim hack/create-cluster.sh

# 2. 搜索 kind create cluster ，找到对应行，修改 --config 参数为你保存的配置文件地址即可。

开始部署。

# 下载 karmada 代码
git clone https://github.com/karmada-io/karmada.git

# 进入 karmada 中
cd karmada

# 执行创建集群的脚本
hack/create-cluster.sh host $HOME/.kube/host.config
# host 集群名称
# $HOME/.kube/host.config 配置文件位置

部署 Karmada

安装 Karmada 1.1.0，根据实际情况替换对应的版本号。

kubectl karmada init \\
    --crds https://github.com/karmada-io/karmada/releases/download/v1.1.0/crds.tar.gz \\
    --cert-external-ip=10.115.92.94 \\
    --kubeconfig=$HOME/.kube/host.config \\
    --etcd-image=registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0 \\
    --karmada-apiserver-image=registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.7 \\
    --karmada-kube-controller-manager-image=registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.7
  • –crds：指定crds压缩包，也可以直接下载下来换成本地路径。
  • —cert-external-ip：需要外部访问的时候，将本机IP地址加入证书中，允许可访问。
  • –kubeconfig：集群的连接文件。
  • –etcd-image：指定 etcd 镜像地址，默认是 k8s.gcr.io 地址的镜像，国内访问异常。
  • –karmada-apiserver-image：指定 Kubernetes apiserver 镜像地址，默认是 k8s.gcr.io 地址的镜像，国内访问异常。
  • –karmada-kube-controller-manager-image：指定 Kubernetes controller manager 镜像地址，默认是 k8s.gcr.io 地址的镜像，国内访问异常。

看到以下内容表示你已经成功的将 karmada 部署到了，你刚创建 K8S 集群上。

I0324 07:01:19.715559  124376 check.go:49] pod: karmada-aggregated-apiserver-77bf74f4d6-wb46z is ready. status: Running

------------------------------------------------------------------------------------------------------
 █████   ████   █████████   ███████████   ██████   ██████   █████████   ██████████     █████████
░░███   ███░   ███░░░░░███ ░░███░░░░░███ ░░██████ ██████   ███░░░░░███ ░░███░░░░███   ███░░░░░███
 ░███  ███    ░███    ░███  ░███    ░███  ░███░█████░███  ░███    ░███  ░███   ░░███ ░███    ░███
 ░███████     ░███████████  ░██████████   ░███░░███ ░███  ░███████████  ░███    ░███ ░███████████
 ░███░░███    ░███░░░░░███  ░███░░░░░███  ░███ ░░░  ░███  ░███░░░░░███  ░███    ░███ ░███░░░░░███
 ░███ ░░███   ░███    ░███  ░███    ░███  ░███      ░███  ░███    ░███  ░███    ███  ░███    ░███
 █████ ░░████ █████   █████ █████   █████ █████     █████ █████   █████ ██████████   █████   █████
░░░░░   ░░░░ ░░░░░   ░░░░░ ░░░░░   ░░░░░ ░░░░░     ░░░░░ ░░░░░   ░░░░░ ░░░░░░░░░░   ░░░░░   ░░░░░
------------------------------------------------------------------------------------------------------
Karmada is installed successfully.

kubectl master 命令别名

karmada 部署完成后，你直接执行 kubectl get cluster 发现没有找到对应 crd 资源，那是因为 karmada apiserver 的配置文件没有找对。

因此我们来配置一个命令别名方便我们后续使用。

alias kmc="kubectl --kubeconfig=/etc/karmada/karmada-apiserver.config"
# --kubeconfig：Karmada apiserver 默认的配置文件路径，若有变动，请修改。

下面我们就可以使用这个命令来查询 Karmada 对应的 crd 列表了。

[root@karmada karmada]# kmc get crds
NAME                                                         CREATED AT
clusteroverridepolicies.policy.karmada.io                    2022-03-23T22:59:58Z
clusterpropagationpolicies.policy.karmada.io                 2022-03-23T22:59:58Z
clusterresourcebindings.work.karmada.io                      2022-03-23T22:59:58Z
federatedresourcequotas.policy.karmada.io                    2022-03-23T22:59:58Z
multiclusteringresses.networking.karmada.io                  2022-03-23T22:59:58Z
overridepolicies.policy.karmada.io                           2022-03-23T22:59:58Z
propagationpolicies.policy.karmada.io                        2022-03-23T22:59:58Z
resourcebindings.work.karmada.io                             2022-03-23T22:59:58Z
resourceinterpreterwebhookconfigurations.config.karmada.io   2022-03-23T22:59:58Z
serviceexports.multicluster.x-k8s.io                         2022-03-23T22:59:58Z
serviceimports.multicluster.x-k8s.io                         2022-03-23T22:59:58Z
works.work.karmada.io                                        2022-03-23T22:59:59Z

现有集群加入到 Karmada

karmadactl 命令，我没有找到现成的二进制文件，通过源码自行编译了一个。

在源码项目根路径下执行一下命令即可。

make karmadactl

执行下面命令将集群加入到 Karmada 中。

karmadactl join karmada-member1 --kubeconfig=/etc/karmada/karmada-apiserver.config --cluster-kubeconfig=/root/.kube/host.config --cluster-context=kind-karmada-member1
  • –kubeconfig：Karmada apiserver 配置文件。
  • –cluster-kubeconfig：需要注册到 Karmada 中的集群。
  • –cluster-context：若是配置文件中有多个集群信息，则需要指定 context 名称。

输出下面结果，则表示集群已经顺利加入了。

[root@karmada karmada]# kmc get cluster
NAME              VERSION   MODE   READY   AGE
karmada-member1   v1.23.4   Push   True    3h46m

以上是关于k8s多集群分发方案karmada解析的主要内容，如果未能解决你的问题，请参考以下文章

Kind 部署 Karmada 多集群管理

Karmada 千级容器集群：工商银行业务容灾管理设计利器

业务容灾管理设计利器：工商银行如何使用 Karmada 千级容器集群

Karmada跨集群优雅故障迁移特性解析

K8S集群中使用Helm管理应用分发

工商银行：应用多k8s集群管理及容灾实践