k8s 资源争用

Posted 2021-01-28

由磁盘空间不足引发集群访问的问题.
k8s node节点磁盘空间不足, /var/lib/docker/overlay2 空间过大,将docker的数据目录切换到其它磁盘,
修改docker配置文文件/usr/lib/systemd/system/docker.service,
ExecStart=/usr/bin/dockerd-current
--graph /opt/docker

systemctl daemon-reload
systemctl restart docker
数据目录发生切换,切换之前此节点运行pod ,直接导致此节点上的所有pod丢失,image确实,重新拉取image,启动容器及项目,
因为发生了大量的拉取Image,导致内网流量跑满,一段时间,服务器反映慢,同时并发启动pod ,造成cpu 负载飙升,4核cpu, 负载到 60+ .
此时,发生非常恐怖影响,master节点忙于调度,负载飙高,基于pod的ingress nginx 在次节点上无法启动, 影响前端转发到次台的服务器不可用.
项目cpu限制1核,pod 征用cpu ,pod liveness 检测超时,进行Pod重启,从而也影响此节点已经运行正常的pod检测liveness及服务的运行.

紧急处理方法:
修改前端代理nginx ,去除有问题的node节点