排查Pod卡在Terminating状态

Posted 2023-04-28

参考技术A pod已经被删除，并且卡在Terminated状态较长时间，可能是因为：

这个手册用于排查pod已经被删除，但长时间卡在Terminate状态，或者长于自己期望的时间。
当运行命令 kubect get pods ，你可以看到关于pod的输出：

1.收集信息
2.检查finalizers
3.检查节点状态
4.强制删除

首先检查一下是否有finalizers，如果有可能是无法完成的根本原因。
获取pod配置：

并且检查 metadata 下面有 finalizers ，如果有则跳到 方案A)。

pod可能运行在因为某种原因发生故障的节点。
如果从 /tmp/runbooks_pod_configuration.txt 文件里面所指定的节点上所有的pod都卡在Terminated状态，那么极有可能是因为node节点故障导致的，可以通过运行命令检查：

由于没有想用终止信号,pod可能不会终止，具体原因可能取决于程序的具体情况，常见原因可能包含：

如果没有其他效果，可以尝试在pod所在的节点上重启kubelet，查看 方案C

A) 删除finalizer
B) 强制删除pod
C) 重启kubelet

删除pod的finalizers，运行命令：

请注意，这是解决方法不是解决方案，请谨慎行事确保问题不会进一步恶化。另外请参与 Statefulset 有关的详细信息。
强制删除运行命令：

如果不生效，请重新参照排查手册，检查一下解决思路。

如果可以，SSH登陆到节点上重启kubelet进程，重启之前可以检查kubelet的日志是否有异常信息。

如果 kubectl get pod 没有显示pod存在那么问题就得到了解决:

如果问题进一步出现，你可能需要：

根据终结器需要完成的工作有所不同。
终结器未完成的常见情况包括

这将根据终结器的操作有所不同，并且需要特定的上下文知识。
可以检查kubelet的日志，可能会包含一些有用的信息。

Finalizers
Container Lifecycle Hooks
Termination of Pods
Unofficial Kubernetes Pod Termination
Kubelet logs
原文: https://containersolutions.github.io/runbooks/posts/kubernetes/pod-stuck-in-terminating-state/#detailed-step-2

k8s删除pod一直处于terminating状态

我这里的pod是与nfs有关，nfs挂载有问题导致pod有问题，执行完删除命令以后看到pod一直处于terminating的状态。

这种情况下可以使用强制删除命令：

kubectl delete pod [pod name] --force --grace-period=0 -n [namespace]

注意：必须加-n参数指明namespace，否则可能报错pod not found。