记一次kubernetes Evicted的处理

Posted saynaihe

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了记一次kubernetes Evicted的处理相关的知识,希望对你有一定的参考价值。

背景:

事情这样的:kubernetes1.21.3集群。容器运行时containerd。除了K8s-node-06节点。
保留这个docker节点有很多原因。比如当时没有想好用什么打包镜像。默认让jenkins打包镜像。还有就是我的gitlab 10.8.7版本contarinerd运行时下无法启动。就保留了这个节点运行gitlab pod。当然了也把这个节点设置为了不可调度。不相其他应用调度到这个节点上来!最近一段时间gitlab应用频繁出现Evicted的问题:

这样就陷入了一个死循环:我的k8s-node-06设置为了不可调度,然后gitlab pod异常了 重新调度也调度不到节点上来…收到报错然后上线查找问题

处理问题过程:

1. 首先将k8s-node-06节点设置为可调度使gitlab pod正常运行

[root@k8s-master-01 ~]# kubectl uncordon k8s-node-06
node/k8s-node-06 uncordoned


等待gitlab pod running 后 将k8s-node-06节点恢复不可调度

[root@k8s-master-01 ~]# kubectl get pods -n kube-ops
[root@k8s-master-01 ~]# kubectl cordon k8s-node-06
node/k8s-node-06 cordoned
[root@k8s-master-01 ~]# kubectl get nodes

2. describe Evicted pod 定位解决

[root@k8s-master-01 ~]# kubectl describe pods gitlab-84d4998c96-b6z2j -n kube-ops

注: pod名词不一致 忽略。只是举个例子

目测存储资源不够了?百度搜索关键词:The node was low on resource: ephemeral-storage。参照:https://blog.csdn.net/u013355826/article/details/101020231。可以确定是存储资源不足了。登陆k8s-node-06节点经过查找文件发现Anchore Enine安装后,扫描后后数据文件太大造成的。就删除了anchore Engine
中的扫描记录文件!观察一段事件后目测是正常了…

3. 如何批量删除Evicted pod?

然后pod 列表中还有好多Evicted pod 看着恨不顺眼,怎么批量删除呢?如下:

kubectl get pods --all-namespaces -o json | jq '.items[] | select(.status.reason!=null) | select(.status.reason | contains("Evicted")) | "kubectl delete pods \\(.metadata.name) -n \\(.metadata.namespace)"' | xargs -n 1 bash -c

总结:

  1. 做好资源的监控
  2. kubectl命令的熟练掌握,高效运用
  3. 当然了最重要的还是处理问题的思路。先查看日志去定位问题!

以上是关于记一次kubernetes Evicted的处理的主要内容,如果未能解决你的问题,请参考以下文章

记一次批量删除Evicted状态的pod

一次kuberneets evicted的历险

记一次kubernetes集群异常:kubelet连接apiserver超时

记一次Kubernetes/Docker网络排障

记一次JAVA进程导致Kubernetes节点CPU飙高的排查与解决

kubernetes— 记一次用kubeadm搭建kubernetes v1.9.0集群