无法通过 Kubernetes 集群中的主机名连接到 MariaDB

Posted 2023-02-24

【中文标题】无法通过 Kubernetes 集群中的主机名连接到 MariaDB

【英文标题】：Can't connect to MariaDB by hostname within a Kubernetes cluster

【发布时间】：2020-06-28 22:29:13

【问题描述】：

如果我在 Docker Compose 配置中从官方镜像设置 MariaDB，我可以通过其主机名访问它 - 例如，如果在 MariaDB 容器内的 bash shell 中：

# host db
db has address 172.21.0.2


# curl telnet://db:3306
Warning: Binary output can mess up your terminal. Use "--output -" to tell 
Warning: curl to output it to your terminal anyway, or consider "--output 
Warning: <FILE>" to save to a file.

这里没有连接被拒绝的问题

但是，如果从 Kubernetes 集群中的官方镜像部署 MariaDB（尝试了 MicroK8s 和 GKE），我可以通过 localhost 连接到它，但不能通过其主机名：

# host db
db.my-namspace.svc.cluster.local has address 10.152.183.124

# curl telnet://db:3306
curl: (7) Failed to connect to db port 3306: Connection refused

# curl telnet://localhost:3306
Warning: Binary output can mess up your terminal. Use "--output -" to tell 
Warning: curl to output it to your terminal anyway, or consider "--output 
Warning: <FILE>" to save to a file.

服务主机名连接被拒绝，但本地主机响应

我尝试将包含的 my.cnf 替换为简化版本，例如：

[mysqld]
skip-grant-tables
skip-networking=0
#### Unix socket settings (making localhost work)
user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock

#### TCP Socket settings (making all remote logins work)
port         = 3306
bind-address = *

没有运气

MariaDB Kubernetes 部署如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: db
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      name: db
  template:
    metadata:
      labels:
        name: db
    spec:
      containers:
      - env:
        - name: MYSQL_PASSWORD
          value: template
        - name: MYSQL_ROOT_PASSWORD
          value: root
        - name: MYSQL_USER
          value: template
        image: mariadb:10.4
        name: db
        ports:
        - containerPort: 3306
        resources: 
        volumeMounts:
        - mountPath: /var/lib/mysql
          name: dbdata
      restartPolicy: Always
      volumes:
      - name: dbdata
        persistentVolumeClaim:
          claimName: dbdata
status: 

以及相应的持久卷声明：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    io.kompose.service: dbdata
  name: dbdata
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 100Mi
status: 

让我感到困惑的是，相同的配置适用于 Docker Compose，但不适用于 Kubernetes 集群。

有什么想法吗？

2020 年 3 月 18 日更新 我忘记包含数据库的服务声明并在此处添加：

apiVersion: v1
kind: Service
metadata:
  labels:
    app: db
  name: db
spec:
  ports:
  - name: "3306"
    port: 3306
    targetPort: 3306
  selector:
    app: db
    name: db
  type: ClusterIP
status:
  loadBalancer: 

...对于spec.selector，我同时包括app 和name - 我习惯只有name，但@Al-waleed Shihadeh 的示例包括app，所以我也将其包括在内，只是以防万一 - 但没有成功。

以下是几个 kubectl 列表命令的输出：

$ sudo microk8s.kubectl get svc db -n my-namespace
NAME   TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
db     ClusterIP   10.152.183.246   <none>        3306/TCP   35m

$ sudo microk8s.kubectl get pods -owide -n my-namespace
NAME                           READY   STATUS             RESTARTS   AGE   IP            NODE          NOMINATED NODE   READINESS GATES
db-77cbcf87b6-l44lm            1/1     Running            0          34m   10.1.48.118   microk8s-vm   <none>           <none>

解决方案 比较了 KoopaKiller 发布的服务声明，它被证明是有效的，我终于注意到在端口声明中将protocol 属性设置为“TCP”是缺失的——这部分：

spec:
  ports:
  - protocol: TCP
...

【参考方案1】：

由于您使用的是 Kubernetes 部署，因此您的 pod 名称将根据您在 spec 文件中提供的名称动态生成，在您的示例中，将使用名称 db-xxxxxxxxxx-xxxxx 创建 pod。

为了创建一个“固定”的主机名，您需要创建一个服务来访问您的 pod，例如：

apiVersion: v1
kind: Service
metadata:
  name: db
spec:
  selector:
    name: db
  ports:
    - protocol: TCP
      port: 3306
      targetPort: 3306
  type: ClusterIP

并检查是否已成功部署：

$ kubectl get svc db
NAME   TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)    AGE
db     ClusterIP   10.96.218.18   <none>        3306/TCP   89s

您的服务的全名将是：<name>.<namespace>.cluster.local 在这种情况下使用 default 命名空间将是 db.default.cluster.local 指向 ip 10.96.218.18，如上例所示。

要访问您的服务，您需要使用他的信息配置您的 /etc/hosts：

echo -ne "10.96.218.18\tdb.default.cluster.local db db.default" >> /etc/hosts

之后，您将能够通过 dns 访问您的服务：

$ dig +short db
10.96.218.18

$ mysql -h db -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 10
Server version: 5.5.5-10.4.12-MariaDB-1:10.4.12+maria~bionic mariadb.org binary distribution

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> 

您知道，您还可以使用 HELM 模板来设置 mariadb 复制。看到这个article

参考资料：

https://kubernetes.io/docs/concepts/services-networking/service/

https://kubernetes.io/docs/concepts/workloads/controllers/deployment/

【讨论】：

我忘记包含我的服务声明 - 现在已经更新了这个问题。从主机命令示例中可以看出，主机名 db 被声明并指向本地 IP：问题是在端口 3306 上拒绝与该主机名或 IP 的连接。请注意，显示的示例在 shell 中在数据库容器中。

您的服务解析指向db.my-namspace.svc.cluster.local，但您的yamls 不是在my-namespace 中创建的。您能否使用以下命令的输出更新问题：kubectl get svc -n default 和 kubectl get pods -n default -owide？

您的服务 IP 与您帖子中命令 host db (10.152.183.124) 的输出不匹配。检查你的/etc/hosts，该行必须是10.152.183.246 db db.my-namespace.cluster.local，对吗？

那实际上是因为我在此期间重新创建了容器，所以来自容器内shell中的host命令的IP，以及从容器外部发出的kubectl get svc ...的IP，实际上是这样做的匹配，但是 /etc/hosts 实际上包含不同的IP：10.1.48.118 db-77cbcf87b6-l44lm 并且我可以远程登录到该IP。那个 IP 和 k8s svc 集群 IP 有什么区别？

总结我们聊天中的发现：数据库服务端口声明缺少protocol 属性设置为TCP：spec.ports.protocol: TCP 丢失。

【参考方案2】：

为了能够从主机节点访问服务，您需要在 Kubernetes 中定义一个服务对象

所以完整的 k8s 对象应该看起来像下面的 sn-p PersistentVolumeClaim

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  creationTimestamp: null
  labels:
    io.kompose.service: db-data
  name: db-data
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 100Mi
status: 

服务

apiVersion: v1
kind: Service
metadata:
  labels:
    app: mysql
  name: mysql
spec:
  ports:
  - port: 3306
    targetPort: 3306
  selector:
    app: mysql
  type: ClusterIP

部署

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: mysql
  name: mysql
spec:
  replicas: 1
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: mysql
    spec:
      containers:
      - name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: dummy
        - name: MYSQL_DATABASE
          value: community_db
        resources: 
        volumeMounts:
          - mountPath: /var/lib/mysql
            name: db-data
        image: mysql:5.7
        ports:
        - containerPort: 3306
      volumes:
      - name: db-data
        persistentVolumeClaim:
          claimName: db-data
      restartPolicy: Always

【讨论】：

我忘记包含我的服务声明 - 现在已经更新了这个问题。从主机命令示例中可以看出，主机名 db 已声明并指向本地 IP：问题是在端口 3306 上拒绝与该主机名或 IP 的连接。请注意，显示的示例是在 shell 中在数据库容器中。