k8s 如何使用kube-dns实现服务发现

Posted 2023-03-20

参考技术A 使用kubectl create -f nginx-deployment.yaml指令创建，这样便可以得到两个运行nginx服务的Pod。待Pod运行之后查看一下它们的IP，并在k8s集群内通过podIP和containerPort来访问Nginx服务：
获取Pod IP：

在集群内访问Nginx服务：

看到这里相信很多人会有以下疑问：

1.每次收到获取podIP太扯了，总不能每次都要手动改程序或者配置才能访问服务吧，要怎么提前知道podIP呢？
2.Pod在运行中可能会重建，IP变了怎么解？

这些问题使用k8s Service就可以解决。

创建之后，仍需要获取Service的Cluster-IP，再结合Port访问Nginx服务。

Service可以将pod IP封装起来，即使Pod发生重建，依然可以通过Service来访问Pod提供的服务。此外，Service还解决了负载均衡的问题，大家可以多访问几次Service，然后通过kubectl logs <Pod Name>来查看两个Nginx Pod的访问日志来确认。

获取IP：

在集群内访问Service：

虽然Service解决了Pod的服务发现和负载均衡问题，但存在着类似的问题：不提前知道Service的IP，还是需要改程序或配置啊。看到这里有没有感觉身体被掏空？
接下来聊聊kube-dns是如何解决上面这个问题的。

kube-dns可以解决Service的发现问题，k8s将Service的名称当做域名注册到kube-dns中，通过Service的名称就可以访问其提供的服务。

可能有人会问如果集群中没有部署kube-dns怎么办？没关系，实际上kube-dns插件只是运行在kube-system命名空间下的Pod，完全可以手动创建它。可以在k8s源码（v1.2）的cluster/addons/dns目录下找到两个模板（skydns-rc.yaml.in和skydns-svc.yaml.in）来创建。

通过skydns-rc.yaml文件创建kube-dns Pod，其中包含了四个containers，这里开始简单过一下文件的主要部分，稍后做详细介绍。

第一部分可以看到kube-dns使用了RC来管理Pod，可以提供最基本的故障重启功能。

创建kube-dns Pod，其中包含了4个containers

接下来是第一个容器 etcd ，它的用途是保存DNS规则。

第二个容器 kube2sky ，作用是写入DNS规则。

第三个容器是 skydns ，提供DNS解析服务。

最后一个容器是 healthz ，提供健康检查功能。

有了Pod之后，还需要创建一个Service以便集群中的其他Pod访问DNS查询服务。通过skydns-svc.yaml创建Service，内容如下：

创建完kube-dns Pod和Service，并且Pod运行后，便可以访问kube-dns服务。

下面创建一个Pod，并在该Pod中访问Nginx服务：
创建之后等待kube-dns处于运行状态

再新建一个Pod，通过其访问Nginx服务

在curl-util Pod中通过Service名称访问my-nginx Service：

只要知道需要的服务名称就可以访问，使用kube-dns发现服务就是那么简单。
虽然领略了使用kube-dns发现服务的便利性，但相信有很多人也是一头雾水：kube-dns到底怎么工作的？在集群中启用了kube-dns插件，怎么就能通过名称访问Service了呢？

之前已经了解到kube-dns是由四个容器组成的，它们扮演的角色可以通过下面这张图来理解。

其中：

其中cluster_domain可以使用kubelet的–cluster-domain=SomeDomain参数进行设置，同时也要保证kube2sky容器的启动参数中–domain参数设置了相同的值。通常设置为cluster.local。那么之前示例中的my-nginx Service对应的完整域名就是my-nginx.default.svc.cluster.local。看到这里，相信很多人会有疑问，既然完整域名是这样的，那为什么在Pod中只通过Service名称和Namespace就能访问Service呢？下面来解释其中原因。

感兴趣的可以在网上查找一些resolv.conf的资料来了解具体的含义。之所以能够通过Service名称和Namespace就能访问Service，就是因为search配置的规则。在解析域名时会自动拼接成完整域名去查询DNS。

刚才提到的kubelet –cluster-domain参数与search的具体配置是相对应的。而kube2sky容器的–domain参数影响的是写入到etcd中的域名，kube2sky会获取Service的名称和Namespace，并使用–domain参数拼接完整域名。这也就是让两个参数保持一致的原因。

kube-dns可以让Pod发现其他Service，那Pod又是如何自动发现kube-dns的呢？在上一节中的/etc/resolv.conf中可以看到nameserver，这个配置就会告诉Pod去哪访问域名解析服务器。
![]( https://upload-images.jianshu.io/upload_images/315466-ea925bf213ef5369.png?imageMogr2/auto-
orient/strip%7CimageView2/2/w/1240)

相应的，可以在之前提到的skydns-svc.yaml中看到spec.clusterIP配置了相同的值。通常来说创建一个Service并不需要指定clusterIP，k8s会自动为其分配，但kube-dns比较特殊，需要指定clusterIP使其与/etc/resolv.conf中的nameserver保持一致。

修改nameserver配置同样需要修改两个地方，一个是kubelet的–cluster-dns参数，另一个就是kube-dns Service的clusterIP。

接下来重新梳理一下本文的主要内容：

有了以上机制的保证，就可以在Pod中通过Service名称和namespace非常方便地访问对应的服务了。

https://www.kubernetes.org.cn/273.html

kube-dns部署

一，基本概念

    kube-dns主要实现K8S集群内部服务发现以及集群内部通过服务名进行访问。kubernetes集群中的服务都会有一个只用于内部访问的ClusterIP，如下：

[[email protected] ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)         AGE
kubernetes   ClusterIP   10.254.0.1       <none>        443/TCP         54d
mysql        NodePort    10.254.194.156   <none>        3306:8606/TCP   1d
myweb        NodePort    10.254.244.155   <none>        8080:8500/TCP   20h

    kube-dns可以实现集群内部的服务名与ClusterIP的解析，实现服务之间通过服务名的访问，方便部署管理

    kubernetes提供的虚拟DNS服务1.6版本之后主要由kube-dns，dnsmasq，sidecar等3个容器组成。其中kube-dns监控kubernetes服务资源，并将记录缓存至内存中；dnsmasq从kube-dns中获取集群服务的DNS记录并向集群提供DNS服务，sidecar负责另外两个容器的健康监测。

二，安装部署

    安装部署需要的yaml文件可以参考官网的github地址：https://github.com/kubernetes/kubernetes/tree/release-1.8/cluster/addons/dns；需要部署的文件为：kubedns-cm.yaml，kubedns-controller.yaml，kubedns-sa.yaml，kubedns-svc.yaml等

    其中kubedns-cm.yaml，kubedns-sa.yaml两个文件不需要更改，可以直接部署

    文件内容如下：

[[email protected] dns]# cat kubedns-cm.yaml 
apiVersion: v1
kind: ConfigMap
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    addonmanager.kubernetes.io/mode: EnsureExists
    
[[email protected] dns]# cat kubedns-sa.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile

    kubedns-controller.yaml文件修改后如下

# Copyright 2016 The Kubernetes Authors.
# #
# # Licensed under the Apache License, Version 2.0 (the "License");
# # you may not use this file except in compliance with the License.
# # You may obtain a copy of the License at
# #
# #     http://www.apache.org/licenses/LICENSE-2.0
# #
# # Unless required by applicable law or agreed to in writing, software
# # distributed under the License is distributed on an "AS IS" BASIS,
# # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# # See the License for the specific language governing permissions and
# # limitations under the License.
#
# # Should keep target in cluster/addons/dns-horizontal-autoscaler/dns-horizontal-autoscaler.yaml
# # in sync with this file.
#
# # __MACHINE_GENERATED_WARNING__
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
spec:
  # replicas: not specified here:
  #   # 1. In order to make Addon Manager do not reconcile this replicas parameter.
  #     # 2. Default is 1.
  #       # 3. Will be tuned in real time if DNS horizontal auto-scaling is turned on.
  strategy:
    rollingUpdate:
      maxSurge: 10%
      maxUnavailable: 0
  selector:
    matchLabels:
      k8s-app: kube-dns
  template:
    metadata:
      labels:
        k8s-app: kube-dns
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ''
    spec:
      tolerations:
      - key: "CriticalAddonsOnly"
        operator: "Exists"
      volumes:
      - name: kube-dns-config
        configMap:
          name: kube-dns
          optional: true
      containers:
      - name: kubedns
        image: gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.4    
        resources:
          # TODO: Set memory limits when we've profiled the container for large
          #           # clusters, then set request = limit to keep this container in
          #                     # guaranteed class. Currently, this container falls into the
          #                               # "burstable" category so the kubelet doesn't backoff from restarting it.
          limits:
            memory: 170Mi
          requests:
            cpu: 100m
            memory: 70Mi
        livenessProbe:
          httpGet:
            path: /healthcheck/kubedns
            port: 10054
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        readinessProbe:
          httpGet:
            path: /readiness
            port: 8081
            scheme: HTTP
          # we poll on pod startup for the Kubernetes master service and
          #           # only setup the /readiness HTTP server once that's available.
          initialDelaySeconds: 3
          timeoutSeconds: 5
        args:
        - --domain=cluster.local.
        - --dns-port=10053
        - --config-dir=/kube-dns-config
        - --v=2
        env:
        - name: PROMETHEUS_PORT
          value: "10055"
        ports:
        - containerPort: 10053
          name: dns-local
          protocol: UDP
        - containerPort: 10053
          name: dns-tcp-local
          protocol: TCP
        - containerPort: 10055
          name: metrics
          protocol: TCP
        volumeMounts:
        - name: kube-dns-config
          mountPath: /kube-dns-config
      - name: dnsmasq
        image: gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.4 
        livenessProbe:
          httpGet:
            path: /healthcheck/dnsmasq
            port: 10054
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        args:
        - -v=2
        - -logtostderr
        - -configDir=/etc/k8s/dns/dnsmasq-nanny
        - -restartDnsmasq=true
        - --
        - -k
        - --cache-size=1000
        - --log-facility=-
        - --server=/cluster.local/127.0.0.1#10053
        - --server=/in-addr.arpa/127.0.0.1#10053
        - --server=/ip6.arpa/127.0.0.1#10053
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        # see: https://github.com/kubernetes/kubernetes/issues/29055 for details
        resources:
          requests:
            cpu: 150m
            memory: 20Mi
        volumeMounts:
        - name: kube-dns-config
          mountPath: /etc/k8s/dns/dnsmasq-nanny
      - name: sidecar
        image: gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.4 
        livenessProbe:
          httpGet:
            path: /metrics
            port: 10054
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        args:
        - --v=2
        - --logtostderr
        - --probe=kubedns,127.0.0.1:10053,kubernetes.default.svc.cluster.local,5,A
        - --probe=dnsmasq,127.0.0.1:53,kubernetes.default.svc.cluster.local,5,A
        ports:
        - containerPort: 10054
          name: metrics
          protocol: TCP
        resources:
          requests:
            memory: 20Mi
            cpu: 10m
      dnsPolicy: Default  # Don't use cluster DNS.
      serviceAccountName: kube-dns

    需要修改的地方：

        1）3个容器的镜像根据自身条件定义

        2）原文中变量  '_PILLAR__DNS__DOMAIN__'更改为自己设定的域名，通常为cluster.local

    

    kubedns-svc.yaml文件内容如下：

[[email protected] dns]# cat kubedns-svc.yaml 
# Copyright 2016 The Kubernetes Authors.
# #
# # Licensed under the Apache License, Version 2.0 (the "License");
# # you may not use this file except in compliance with the License.
# # You may obtain a copy of the License at
# #
# #     http://www.apache.org/licenses/LICENSE-2.0
# #
# # Unless required by applicable law or agreed to in writing, software
# # distributed under the License is distributed on an "AS IS" BASIS,
# # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# # See the License for the specific language governing permissions and
# # limitations under the License.
#
# # __MACHINE_GENERATED_WARNING__
apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile
    kubernetes.io/name: "KubeDNS"
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 10.254.0.2
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP

    此文件只需要修改其中clusterIP，将kube-dns服务的clusterIP固定，可自行定义为kube-apiserver配置中--service-cluster-ip-range定义的IP段内的任意IP

    4个文件都生成之后则可以启动了

kubectl create -f kubedns-cm.yaml -f kubedns-sa.yaml -f  kubedns-controller.yaml -f kubedns-svc.yaml

    启动上述文件之后，还需要在kubelet配置中添加参数，指定DNS服务器：

 ...
  --cluster-dns=10.254.0.2   --cluster-domain=cluster.local
 ...

     之后就可以在集群之间使用服务名互相访问了

注意：

    kube-dns按照上述文件进行配置只有1个副本，如果需要生成多个副本官网推荐以下两种方案：

    1）参考https://github.com/kubernetes/kubernetes/tree/release-1.8/cluster/addons/dns-horizontal-autoscaler 

    2）使用命令：kubectl --namespace=kube-system scale deployment kube-dns --replicas=<NUM_YOU_WANT>