k8s删除pod一直terminating

Posted 2023-04-11

参考技术A

最近集群总是遇到某些节点出现pod一直terminating，无法正常删除的状态，查看系统日志

发现kubelet的异常日志如下
no space left on device

根据关键字 imotify_add_watch ，网上介绍说是 fs.inotify.max_user_watches 的值不够的缘故，查看节点的该值

临时调整

观察到kubelet确实正常自动，为了避免重启机器配置丢失，将配置写入 /etc/sysctl.conf

利用ansible操作多台机器

hosts.ini

fix_watch.yaml

ansible.cfg

ansible_ssh_config

执行命令，即可完成机器的配置调整，上面的 ansible.cfg 在调整了一些配置，ansible会自动优先查找当前目录下的该文件

k8s删除pod一直处于terminating状态

我这里的pod是与nfs有关，nfs挂载有问题导致pod有问题，执行完删除命令以后看到pod一直处于terminating的状态。

这种情况下可以使用强制删除命令：

kubectl delete pod [pod name] --force --grace-period=0 -n [namespace]

注意：必须加-n参数指明namespace，否则可能报错pod not found。