K8S 实战| 有状态应用之 MySQL 集群
Posted 程立笔记
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K8S 实战| 有状态应用之 MySQL 集群相关的知识,希望对你有一定的参考价值。
前言
本节使用 StatefulSet 控制器部署一个 mysql 集群,然后进行宕机测试,观察集群是否可以正常恢复使用并且不丢失数据。
实现的集群有如下特征:
-
是一个主从复制的 MySQL 集群 -
1 个主节点, 多个从节点 -
从节点能够水平扩展 -
所有的写操作,只能在主节点上执行 -
读操作可以在所有节点上执行
更新历史
-
20200615 - 初稿 - 左程立 -
原文地址 - https://blog.zuolinux.com/2020/06/15/statefulset-mysql-cluster.html
所需服务资源
所需资源为:
-
一个 ConfigMap -
两个 Service -
一个 StatefulSet
ConfigMap
kubectl apply -f https://k8s.io/examples/application/mysql/mysql-configmap.yaml
Service
kubectl apply -f https://k8s.io/examples/application/mysql/mysql-services.yaml
MySQL StatefulSet
wget https://k8s.io/examples/application/mysql/mysql-statefulset.yaml
修改 mysql-statefulset.yaml, 使用上一节创建的 NFS 动态存储卷
volumeClaimTemplates:
- metadata:
name: data
annotations:
volume.beta.kubernetes.io/storage-class: managed-nfs-storage
spec:
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 1Gi
创建 MySQL 有状态应用
kubectl apply mysql-statefulset.yaml
写入数据测试
写入数据
kubectl run mysql-client --image=mysql:5.7 -i --rm --restart=Never -- mysql -h mysql-0.mysql <<EOFCREATE DATABASE test;
CREATE TABLE test.messages (message VARCHAR(250));
INSERT INTO test.messages VALUES ('hello');
EOF
检查从机是否可以读取到数据
kubectl run mysql-client --image=mysql:5.7 -i -t --rm --restart=Never -- mysql -h mysql-read -e "SELECT * FROM test.messages"
循环读取,可以看到server-id不断变化,说明每次从不同机器读取数据
kubectl run mysql-client-loop --image=mysql:5.7 -i -t --rm --restart=Never -- bash -ic "while sleep 1; do mysql -h mysql-read -e 'SELECT @@server_id,NOW()'; done"
宕机测试
将 mysql-2 模拟宕机
kubectl exec mysql-2 -c mysql -- mv /usr/bin/mysql /usr/bin/mysql.off
从循环读取 SELECT @@server_id 中将看不到 server-id 102 服务器的记录
kubectl run mysql-client-loop --image=mysql:5.7 -i -t --rm --restart=Never -- bash -ic "while sleep 1; do mysql -h mysql-read -e 'SELECT @@server_id,NOW()'; done"
恢复节点 mysql-2 后,service-id 102 将出现在循环记录中
kubectl exec mysql-2 -c mysql -- mv /usr/bin/mysql.off /usr/bin/mysql
扩展从节点数量
[root@master01 ~]# kubectl scale statefulset mysql --replicas=5
statefulset.apps/mysql scaled
[root@master01 ~]# kubectl get pods -l app=mysql --watch
NAME READY STATUS RESTARTS AGE
mysql-0 2/2 Running 0 29m
mysql-1 2/2 Running 0 28m
mysql-2 2/2 Running 1 24m
mysql-3 0/2 Init:1/2 0 9s
mysql-3 1/2 Running 0 44s
mysql-3 2/2 Running 1 55s
......
mysql-4 0/2 Pending 0 3s
mysql-4 0/2 Init:0/2 0 3s
mysql-4 0/2 Init:1/2 0 7s
mysql-4 0/2 PodInitializing 0 43s
mysql-4 1/2 Running 0 46s
mysql-4 1/2 Running 1 51s
mysql-4 2/2 Running 1 56s
[root@master01 ~]# kubectl get pod -l app=mysql
NAME READY STATUS RESTARTS AGE
mysql-0 2/2 Running 0 32m
mysql-1 2/2 Running 0 31m
mysql-2 2/2 Running 1 28m
mysql-3 2/2 Running 1 3m22s
mysql-4 2/2 Running 1 2m27s
扩容成功后,server-id 103/104 也将出现在 select @@server_id 的执行结果中。
基本原理
首先通过 ConfigMap 引用提前准备的 MySQL 主节点配置文件和 从节点配置文件。
然后定义了两个 Service,一个是 mysql,一个是 mysql-read。
第一个 MySQL Service 是 headless service,不会做负载均衡和流量分配,只会给每个 Pod 分配一个 DNS 名称,由于 StatefulSet 管理的 Pod 名称是固定的,所以 Pod DNS 名称也会是固定的。
这样程序可以找到 MySQL 主服务器 mysql-0.mysql,进行数据的写入。
第二个 Service 是一个正常 Service,用于提供读操作。将读操作代理到后端全部 Pod。
下面就可以进行 MySQL 的自动安装了。
由于 Pod 名称是固定的,所以始终将 mysql-0 作为主节点,Pod-1 -2 -3 为从节点。
当一个 Pod 启动之前,它会执行两个初始化容器,第一个 init 容器用来拷贝自己要使用的配置文件,第二个 init 容器用来从前一个 Pod 中克隆数据,当然如果是主节点就可以跳过克隆这一步了。
最后就可以启动各自的应用容器了,而 slave 容器需要一个挂斗容器 xtrabackup 来配合进行数据的初始化。
结束语
今天通过 K8S 搭建了 mysql 主从,将数据进行了持久化存储。
Pod 宕机后能够自动恢复原有秩序,同时原有数据不会丢失。
联系我
以上是关于K8S 实战| 有状态应用之 MySQL 集群的主要内容,如果未能解决你的问题,请参考以下文章
云原生之kubernetes实战k8s集群核心资源对象之Pod
云原生之kubernetes实战k8s集群下的DaemonSet 高级资源对象
云原生之kubernetes实战在k8s环境下部署Heimdall导航页
云原生之kubernetes实战部署k8s集群管理平台Wayne