kube-dns配置注意及问题排查

Posted 2023-03-20

参考技术A kube-dns配置注意及问题排查

基础的k8s集群可以通过flannel的网络ip地址工作，但要扩展addons的service，都要通过域名来连通，因为各个镜像的配置文件中是不可能把ip写死在文件中的，但域名是可以不变的。因此，一个k8s集群中kube-dns的配置是必要的。

下面介绍配置kube-dns，需要注意的地方，验证及问题排查过程。

在/etc/resolv.conf文件中配置短域补齐，比如cluster.local，这里必须要与skydns-rc.yaml.sed文件中的domain参数一致。

1、看kube-dns的pod内3个容器是否全部running

kubectl get pods --namespace=kube-system -l k8s-app=kube-dns

2、如果全部running，看日志是否有异常

可以通过命令，也可以通过kube dashboard。

3、若日志无明显异常，验证healthz是否能够解析完整域和短域

完整域

kubectl exec -n kube-system -ti kube-dns-v20-xxxxx -c healthz -- nslookup kube-dns.kube-system.svc.cluster.local

短域

kubectl exec -n kube-system -ti kube-dns-v20-xxxxx -c healthz -- nslookup kube-dns

4、如果完整域可以解析，短域不可以解析

查看/etc/resolv.conf文件，是否补齐cluster.local

kubectl exec -n kube-system -ti kube-dns-v20-xxxxx -c healthz cat /etc/resolv.conf

一般文件内容为：

search default.svc.cluster.local svc.cluster.local cluster.local

nameserver 172.17.26.52 #kube-dns service clusterIp

options ndots:5

这个是从宿主机的/etc/resolv.conf文件中继承的。

这些都可以通过官网doc可以查看到 Troubleshooting Tips

5、在node上的修改

修改/etc/kubernetes/kubelet文件：

KUBELET_ARGS="--cluster-dns=172.17.26.52 --cluster-domain=cluster.local --log_dir=/var/log/kubernetes"

修改之后要重启kubelet

systemctl restart kubelet

修改宿主机的/etc/resolv.conf：

search default.svc.cluster.local svc.cluster.local cluster.local

nameserver 172.17.26.52 #kube-dns service clusterIp

5、遇到的问题，这里也比较关键

<1>、手动指定的clusterIp不能解析

在实际操作中，由于kube-dns的特殊性，需要手动指定kube-dns service的clusterIp（在各种“教程”中全都在说手动指定，他们竟然都没遇到问题），然后创建svc，结果使用healthz的nslookup验证时却不能解析。

幸好suzhen经验丰富，尝试把clusterIp注释掉，让k8s自动为kube-dns分配一个ip。然后再手动指定这个ip，重新创建svc。或者直接拿这个ip用就可以了。

按道理说指定的clusterIp在k8s限定的范围之内都是可以的，但是不知道随机指定了一个ip就不行。。。就这么不巧。。。具体原因目前还不清楚。

<2>、命令可解析，healthz自带的参数不能解析

这个问题也是非常诡异的，把healthz的cmd参数单独拿出来用命令解析可以，但是它自己却不能解析，命令一模一样，完全没道理。。。

命令：

kubectl exec -n kube-system -ti kube-dns-v20-xxxxx -c healthz -- nslookup kubernetes.default.svc.cluster.local 127.0.0.1

日志：

can't resolve "kubernetes.default.svc.cluster.local"

healthz是负责dns的健康的，根据创建rc时的yaml文件，healthz容器定时向kubedns容器查询

kubernetes.default.svc.cluster.local 127.0.0.1及kubernetes.default.svc.cluster.lcoal 127.0.0.1:10053,

即(因为这个奇怪的问题把原args都注释了，暂时这样解决了)：

- name: healthz

image: gcr.io/google_containers/exechealthz-amd64:1.2

...

args:

#- --cmd=nslookup kubernetes.default.svc.cluster.local 127.0.0.1 >/dev/null

- --cmd=ping 127.0.0.1

#- --url=/healthz-dnsmasq

#- --cmd=nslookup kubernetes.default.svc.cluster.lcoal 127.0.0.1:10053 >/dev/null

#- --url=/healthz-kubedns

#- --port=8080

#- --quiet

如果一段时间healthz一直解析不过，就会发送一个terminated信号给kubedns，这时即使kubedns本身正常（可以通过kubedns直接执行nslookup进行解析验证），也会自毁，此时该pod就会变的不正常。

<3>、BTW

官网太简单，网上教程太杂，经验很重要，谨慎。

附skydns-rc.yaml.sed修改的地方：

spec:

#nodeName: k8s-nod5

containers:

- name: kubedns

image: gcr.io/google_containers/kubedns-amd64:1.8

...

args:

# command = "/kube-dns"

- --domain=cluster.local.

- --dns-port=10053

- --kube-master-url=http://100.101.69.252:8080

...

- name: healthz

image: gcr.io/google_containers/exechealthz-amd64:1.2

...

args:

#- --cmd=nslookup kubernetes.default.svc.cluster.local 127.0.0.1 >/dev/null

- --cmd=ping 127.0.0.1

#- --url=/healthz-dnsmasq

#- --cmd=nslookup kubernetes.default.svc.cluster.lcoal 127.0.0.1:10053 >/dev/null

#- --url=/healthz-kubedns

#- --port=8080

#- --quiet