生产环境二进制k8s集群扩容node节点的实践

Posted 2020-11-21

K8s二进制生产环境扩容node节点
由于项目微服务也是部署在k8s集群中去维护的，所以扩容node节点也是必要的联系，扩容node节点一定要保证你整个集群的容器环境的网络都是互通的，这也是很重要的一步，这里我根据自己的经验去扩容，仅供参考
首先我这里是安装的二进制方式去部署的k8s集群，进行扩容node的时候，也是非常方便的
扩容node节点分为两步，第一步先将我们旧的node节点上的配置先去拷贝到我们新的节点上，第二点就是将我们的容器网络环境打通
这里我是直接扩容两个node节点。
第一步：

1. 我们先去将我们的master节点上将我们的kubelet,kube-proxy的的bin下的目录文件拷贝到我们的新的节点上，以便于我们去扩容的时候去方便的将我们的服务使用systemd去启动管理起来。
   创建文件目标所需node的节点的目录文件
   [root@k8s-node3 ~]# mkdir -p /opt/kubernetes/{bin,ssl,cfg}
   [root@k8s-node4 ~]# mkdir -p /opt/kubernetes/{bin,ssl,cfg}
   [root@k8s-master1 ~]# scp /data/k8s/soft/kubernetes/server/bin/{kubelet,kube-proxy} root@192.168.30.25:/opt/kubernetes/bin/
   [root@k8s-master1 ~]# scp /data/k8s/soft/kubernetes/server/bin/{kubelet,kube-proxy} root@192.168.30.26:/opt/kubernetes/bin/

2. 将我们的最初node1节点上的/opt/kubernetes下的组件进行拷贝到新的节点上
   [root@k8s-node1 ~]# scp -r /opt/kubernetes/ root@192.168.30.25:/opt
   [root@k8s-node1 ~]# scp -r /opt/kubernetes/ root@192.168.30.26:/opt
   [root@k8s-node1 ~]# scp /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.30.25:/usr/lib/systemd/system
   [root@k8s-node1 ~]# scp /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.30.26:/usr/lib/systemd/system
   去node3上操作
   把拷贝过去的文件的证书删除，这是node1的证书，我们需要重新生成
   [root@k8s-node3 ~]# cd /opt/kubernetes/ssl/
   [root@k8s-node3 ssl]# ls
   kubelet-client-2019-11-07-14-37-36.pem kubelet-client-current.pem kubelet.crt kubelet.key
   [root@k8s-node3 ssl]# rm -rf
   Node4上的也是一样删除
   [root@k8s-node4 ~]# cd /opt/kubernetes/ssl/
   [root@k8s-node4 ssl]# ls
   kubelet-client-2019-11-07-14-37-36.pem kubelet-client-current.pem kubelet.crt kubelet.key
   [root@k8s-node4 ssl]# rm -rf

修改ip ，找到配置文件把ip上改成第三个node，也就是本身的node
[root@k8s-node3 cfg]# grep 23 *
kubelet:--hostname-override=192.168.30.23
kubelet.config:address: 192.168.30.23
kube-proxy:--hostname-override=192.168.30.23

这个和扩容第4个node节点都是一样的
扩容的时候记得这里是需要docker环境的，需要安装一下docker-ce
[root@k8s-node3 ~]# systemctl restart docker
[root@k8s-node3 ~]# docker -v
Docker version 19.03.4, build 9013bf583a
[root@k8s-node4 ~]# systemctl restart docker
[root@k8s-node4 ~]# docker -v
Docker version 19.03.4, build 9013bf583a
另外就是需要etcd的启动文件。也拷贝过来，然后重启
[root@k8s-node1 ~]# scp -r /opt/etcd/ root@192.168.30.25:/opt
[root@k8s-node1 ~]# scp -r /opt/etcd/ root@192.168.30.25:/opt
把这些都修改为25主机的IP之后启动
[root@k8s-node3cfg]# systemctl restart kubelet
[root@k8s-node3 cfg]# systemctl restart kube-proxy.service
[root@k8s-node3 cfg]# ps -ef |grep kube
root 62846 1 0 16:49 ? 00:00:07 root 86738 1 6 21:27 ? 00:00:00 /opt/kubernetes/bin/kubelet --logtostderr=false --log-dir=/opt/kubernetes/log --v=4 --hostname-override=192.168.30.25 --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig --config=/opt/kubernetes/cfg/kubelet.config --cert-dir=/opt/kubernetes/ssl --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0
root 86780 1 35 21:28 ? 00:00:02 /opt/kubernetes/bin/kube-proxy --logtostderr=true --v=4 --hostname-override=192.168.30.25 --cluster-cidr=10.0.0.0/24 --proxy-mode=ipvs --kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig
root 86923 66523 0 21:28 pts/1 00:00:00 grep --color=auto kube

查看到master节点又有新的节点加入
[root@k8s-master1 ~]# kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-eH_jPNUBXJF6sIii9SvNz9fW71543MLjPvOYWeDteqo 90s kubelet-bootstrap Pending
node-csr-xLNLbvb3cibW-fyr_5Qyd3YuUYAX9DJgDwViu3AyXMk 31m kubelet-bootstrap Approved,Issued

颁发证书
[root@k8s-master1 ~]# kubectl certificate approve node-csr-eH_jPNUBXJF6sIii9SvNz9fW71543MLjPvOYWeDteqo
certificatesigningrequest.certificates.k8s.io/node-csr-eH_jPNUBXJF6sIii9SvNz9fW71543MLjPvOYWeDteqo approved
[root@k8s-master1 ~]# kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-eH_jPNUBXJF6sIii9SvNz9fW71543MLjPvOYWeDteqo 3m18s kubelet-bootstrap Approved,Issued
node-csr-xLNLbvb3cibW-fyr_5Qyd3YuUYAX9DJgDwViu3AyXMk 33m kubelet-bootstrap Approved,Issued
查看node节点状态
[root@k8s-master1 ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
192.168.30.23 Ready <none> 25m v1.15.1
192.168.30.24 Ready <none> 51s v1.15.1
192.168.30.25 Ready <none> 25m v1.15.1
192.168.30.26 Ready <none> 51s v1.15.1

第二步：
打通容器之间的网络通信环境，这里我使用的是flannel进行管理
准备docker环境,这里我们之前是准备好的，但是我们还是需要给他们去分配一个子网，flanneld和docker分配要一个子网里面
给新加入的节点部署flannel，将部署的文件拷贝过去
[root@k8s-node1 ~]# scp /usr/lib/systemd/system/{flanneld,docker}.service root@192.168.30.25:/usr/lib/systemd/system
[root@k8s-node1 ~]# scp /usr/lib/systemd/system/{flanneld,docker}.service root@192.168.30.26:/usr/lib/systemd/system

去node1上指定一个我们的node
[root@k8s-node1 ~]# ./flannel.sh https://192.168.30.21:2379,https://192.168.30.22:2379,https://192.168.30.23:2379,https://192.168.30.24:2379,https://192.168.30.25:2379,https://192.168.30.26:2379
然后将我们的指定好的flanneld文件拷贝到新的节点上
[root@k8s-node1 ~]# cd /opt/kubernetes/cfg/
[root@k8s-node1 cfg]# ls
bootstrap.kubeconfig flanneld kubelet kubelet.config kubelet.kubeconfig kube-proxy kube-proxy.kubeconfig
[root@k8s-node1 cfg]# scp flanneld root@192.168.30.25:/opt/kubernetes/cfg/
[root@k8s-node1 cfg]# scp flanneld root@192.168.30.26:/opt/kubernetes/cfg/
重启新的节点
查看网络是否与docker同一网段
[root@k8s-node3 ~]# ip a
5: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default
link/ether 02:42:97:f5:6c:cd brd ff:ff:ff:ff:ff:ff
inet 172.17.25.1/24 brd 172.17.25.255 scope global docker0
valid_lft forever preferred_lft forever
6: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default
link/ether b2:1a:97:5c:61:1f brd ff:ff:ff:ff:ff:ff
inet 172.17.25.0/32 scope global flannel.1
valid_lft forever preferred_lft forever

[root@k8s-node4 ~]# systemctl start flanneld
[root@k8s-node4 ~]# systemctl restart docker
[root@k8s-node4 ~]# ip a
5: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default
link/ether 02:42:3f:3c:a8:62 brd ff:ff:ff:ff:ff:ff
inet 172.17.77.1/24 brd 172.17.77.255 scope global docker0
valid_lft forever preferred_lft forever
6: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default
link/ether 96:1c:bc:ec:05:d6 brd ff:ff:ff:ff:ff:ff
inet 172.17.77.0/32 scope global flannel.1
并测试与其他节点的容器是否都能共享各个节点的网络环境
[root@k8s-master1 ~]# kubectl exec -it nginx-deployment-7b8677db56-wkbzb /bin/sh
ping 172.17.79.2
PING 172.17.79.2 (172.17.79.2): 56 data bytes
64 bytes from 172.17.79.2: icmp_seq=0 ttl=62 time=0.703 ms
64 bytes from 172.17.79.2: icmp_seq=1 ttl=62 time=0.459 ms
^C--- 172.17.79.2 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.459/0.581/0.703/0.122 ms
ping 172.17.40.3
PING 172.17.40.3 (172.17.40.3): 56 data bytes
64 bytes from 172.17.40.3: icmp_seq=0 ttl=62 time=0.543 ms
64 bytes from 172.17.40.3: icmp_seq=1 ttl=62 time=0.404 ms
^C--- 172.17.40.3 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.404/0.474/0.543/0.070 ms
ping 172.17.6.3
PING 172.17.6.3 (172.17.6.3): 56 data bytes
64 bytes from 172.17.6.3: icmp_seq=0 ttl=62 time=0.385 ms
64 bytes from 172.17.6.3: icmp_seq=1 ttl=62 time=0.323 ms
^C--- 172.17.6.3 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.323/0.354/0.385/0.031 ms
测试成功都能连通