处理coredns Pending故障

Posted 2023-03-19

参考技术A 生产环境中，遇到coredns Pending问题，如下

当前业务并无异常，只是pod状态不正常。删除pending状态的coredns，会立即启动一个，但依然是pending状态。查看一个pending状态的pod详细描述，可以看到报错原因

大概意思是现有的17个节点不满足节点亲和性，所以pod无法运行。

当前k8s集群里有17个node，coredns启动了22个，有5个为Pending状态。结合当前业务正常的情况猜测节点亲和性设置为每个节点只能运行一个coredns，于是有5个pod在其节点上由于已经有运行的coredns pod，无法运行，只能为Pending状态。查看节点亲和性。

集群中node节点是17个，为什么coredns设置为22个？只好先看下副本管理器中coredns设置的副本数。查看旧版本的k8s副本管理器用 kubectl get rc -n kube-system ，而比较新的版本用rs代替rc。

看到副本管理器中确实设定了副本数位22，先将副本数改为17，观察Pending状态的pod是否会被删除。

但是保存此配置后，删除Pending状态的pod，还是会自动启动一个，总数并没有改变。使用命令修改副本数：

提示修改成功，但coredns pod数量还是没有改变。
尝试修改deployments

保存退出后，发现pod数量依然是22个。
使用patch修改deployment副本数，结果pod数量还是不变。

由此可以推测coredns数量由某个进程或配置管理，不受rs、deployments管理。
这时注意到dns-autoscaler这个deployment，然后联想到cluster-autoscaler。CA（cluster-autoscaler）是用来弹性伸缩kubernetes集群的，dns-autoscaler应该是弹性伸缩coredns这个pod集群的。

为了验证猜想，先停掉dns-autoscaler，再将pod数量调整为17个。

再查看coredns pod数量，已经变为17个， 而且全都是running状态，问题解决。后续再研究下dns-autoscaler为什么会把coredns pod目标数量设定为22个，怎么修改这个预设数量。