基于Linux（Ubuntu20.04）初步搭建k8s集群基础，详细教程

Posted 2021-12-15 the丶only

一：搭建基础环境

k8s官方网站：https://kubernetes.io/zh/ ，可自行查看相关文档说明

k8s-master：Ubuntu–192.168.152.100
k8s-node01：Ubuntu–192.168.152.101
k8s-node02：Ubuntu–192.168.152.102

---

---

二：前置条件设置

全部已安装docker，未安装可根据官方文档安装：https://docs.docker.com/get-docker/

1，禁止swap分区

K8s的要求，确保禁止掉swap分区，不禁止，初始化会报错。
在每个宿主机上执行：

sudo swapoff -a
#修改/etc/fstab，注释掉swap那行，持久化生效
sudo vi /etc/fstab

---

2，确保时区和时间正确

时区设置

sudo timedatectl set-timezone Asia/Shanghai
#同时使系统日志时间戳也立即生效
sudo systemctl restart rsyslog

---

3，关闭防火墙和selinux

ubuntu 查看防火墙命令，ufw status可查看状态，ubuntu20.04默认全部关闭，无需设置。

---

4，主机名和hosts设置（可选）

非必须，但是为了直观方便管理，建议设置。

在宿主机分别设置主机名：k8s-master，k8s-node01，k8s-node02

sudo vim /etc/hostname

hosts设置

sudo vim /etc/hosts
#添加内容
192.168.152.100  k8s-master
192.168.152.101  k8s-node01
192.168.152.102  k8s-node02

---

---

三：安装组件

1，更改docker默认驱动为systemd

为防止初始化出现一系列的错误，请检查docker和kubectl驱动是否一致，否则kubectl没法启动造成报错。版本不一样，docker有些为cgroupfs，而kubectl默认驱动为systemd，所以需要更改docker驱动。

可查看自己docker驱动命令：

sudo docker info|grep Driver

更改docker驱动，编辑 /etc/docker/daemon.json (没有就新建一个），添加如下启动项参数即可：

#编辑创建文件
sudo vim  /etc/docker/daemon.json
#添加内容

  "exec-opts": ["native.cgroupdriver=systemd"]

重启docker

sudo systemctl restart docker.service

需要在每台机器上安装以下的软件包：

---

2，更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包

安装软件包以允许apt通过HTTPS使用存储库，已安装软件的可以忽略

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl

---

3，下载公开签名秘钥、并添加k8s库

国外 ：下载 Google Cloud 公开签名秘钥：

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add
sudo apt-add-repository "deb http://apt.kubernetes.io/ kubernetes-xenial main"

国内：可以用阿里源即可：

curl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
sudo tee /etc/apt/sources.list.d/kubernetes.list <<EOF 
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

请注意，在命令中，使用的是Ubuntu 16.04 Xenial 版本， 是可用的最新 Kubernetes 存储库。所以而非20.04 的focal。

---

4，更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本

锁定版本，防止出现不兼容情况，例如，1.7.0 版本的 kubelet 可以完全兼容 1.8.0 版本的 API 服务器，反之则不可以。

• kubeadm：用来初始化集群的指令。
• kubelet：在集群中的每个节点上用来启动 Pod 和容器等。
• kubectl：用来与集群通信的命令行工具。

sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

---

---

四：初始化主节点master

只需要在master上操作即可。

kubeadm init --apiserver-advertise-address=192.168.152.100 --pod-network-cidr=172.16.0.0/16

• apiserver-advertise-address：定义API服务器将公布其监听内容的IP地址。如果未设置，将使用默认网络接口。
• pod-network-cidr：指定Pod网络的IP地址范围。如果设置，控制平面将自动为每个节点分配CIDR。 如果您的网络插件的首选Pod网络与某些主机网络之间发生冲突，则可以使用它来定义首选的网络范围

---

1，初始化错误解决（没有报错的可以跳过这条）

错误提示1：

[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp 127.0.0.1:10248: connect: connection refused.

原因：kubectl没法启动，journalctl -xe查看启动错误信息。

journalctl -xe
#信息显示docker和kubectel驱动不一致
kubelet cgroup driver: \\"systemd\\" is different from docker cgroup driver: \\"cgroupfs\\""

解决方案：k8s建议systemd驱动，所以更改docker驱动即可，编辑 /etc/docker/daemon.json (没有就新建一个），添加如下启动项参数即可：

#编辑创建文件
sudo vim  /etc/docker/daemon.json
#添加内容

  "exec-opts": ["native.cgroupdriver=systemd"]

重启docker和kubectel

#重启docker
sudo systemctl restart docker.service
#重载kubectl
sudo systemctl daemon-reload  
#重启kubectl
sudo systemctl restart kubelet.service 
#查看kubectl服务状态恢复正常
sudo systemctl status kubelet.service

错误提示2：

error execution phase preflight: [preflight] Some fatal errors occurred:
	[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
	[ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
	[ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
	[ERROR FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml already exists
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

原因：初始化生产的文件，重新初始化，需要删除即可

rm -fr /etc/kubernetes/manifests/*

错误提示3：

error execution phase preflight: [preflight] Some fatal errors occurred:
	[ERROR Port-10250]: Port 10250 is in use

解决方法：重置配置

sudo kubeadm reset

---

2，初始化完成

无报错，最后出现以下，表示初始化完成，根据提示还需要操作。

[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.152.100:6443 --token tojkw9.v4nageqhftd7v2vc \\
	--discovery-token-ca-cert-hash sha256:6a5b372144d6cc2a12f8e41853554549f1290e665381f48fdd92bbf92de7b884 

根据用户是root或者普通用户操作，由于大多环境不会是root用户，我也是普通用户，所以选择普通用户操作命令：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

如果是root用户，执行以下命令：

export KUBECONFIG=/etc/kubernetes/admin.conf

初始化完成，用最后的提示命令kubeadm join.... 在node机器上加入集群即可。

---

3，主节点pod网络设置

主节点支持网络插件：https://kubernetes.io/zh/docs/concepts/cluster-administration/addons/
这里安装Calico网络插件：https://docs.projectcalico.org/getting-started/kubernetes/self-managed-onprem/onpremises
Calico官网提供三种安装方式，1）低于50个节点，2）高于50个节点，3）etcd datastore（官方不建议此方法）。

这里选择第一种：

curl https://docs.projectcalico.org/manifests/calico.yaml -O
kubectl apply -f calico.yaml

安装完成后，kubectl get node 可查看节点状态，由NotReady变成Ready则正常，需要等几分钟完成。

#未安装网络插件
ubuntu@k8s-master:~$ kubectl get node
NAME         STATUS     ROLES                  AGE   VERSION
k8s-master   NotReady   control-plane,master   80m   v1.22.3
#已安装网络插件
ubuntu@k8s-master:~$ kubectl get node
NAME         STATUS   ROLES                  AGE   VERSION
k8s-master   Ready    control-plane,master   83m   v1.22.3

---

---

五：加入node节点

1，node加入master节点

在所有node节点机器操作，统一已安装完成 kubelet、kubeadm 和 kubectl，用master初始化完成后最后提示命令加入，切记要用root用户。

kubeadm join 192.168.152.100:6443 --token tojkw9.v4nageqhftd7v2vc \\
	--discovery-token-ca-cert-hash sha256:6a5b372144d6cc2a12f8e41853554549f1290e665381f48fdd92bbf92de7b884

加入成功后，提示如下：

[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Starting the kubelet
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

再次查看kubelet服务已正常启动。

---

2，需注意的坑

1：加入主节点，需要root用户执行词条命令，才可以加入master主节点。
node在没有加入主节点master之前，kubelet服务是没法启动的，是正常情况，会报错如下：

"Failed to load kubelet config file" err="failed to load Kubelet config file /var/lib/kubelet/config.yaml, 
error failed to read kubelet config file \\"/var/lib/kubelet/config.yaml,
error: open /var/lib/kubelet/config.yaml: no such file or directory" path="/var/lib/kubelet/config.yaml"

原因是缺失文件，主节点master初始化 kubeadm init生成。
node节点是不需要初始化的，所以只需要用root用户kubeadm join加入master即可生成。

2：如果加入提示某些文件已存在，如：

[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists

原因是加入过主节点，即使没成功加入，文件也会创建，所以需要重置节点，重新加入即可，重置命令：

kubeadm reset

---

3，在master查看节点

加入完成后，在master节点kubectl get node可查看已加入的所有节点：

ubuntu@k8s-master:~$ kubectl get node
NAME         STATUS   ROLES                  AGE     VERSION
k8s-master   Ready    control-plane,master   16h     v1.22.3
k8s-node01   Ready    <none>                 24m     v1.22.3
k8s-node02   Ready    <none>                 6m54s   v1.22.3

这里k8s集群创建完成。