Docker集群管理Swarm数据持久化

Posted 2020-10-30 Bigberg

一、前言

　　和docker容器一样，Swarm集群中运行的服务也能够做数据持久化。我们可以通过volume、bind和nfs等方式来实现swarm集群应用数据的持久化。其实和docker数据持久化的形式是一样的。

二、系统环境

节点名称	IP	操作系统	内核版本
manager	172.16.60.95	CentOs7	4.16.1-1.el7.elrepo.x86_64
node-01	172.16.60.96	CentOs7	4.16.1-1.el7.elrepo.x86_64
node-02	172.16.60.97	CentOs7	4.16.1-1.el7.elrepo.x86_64
node-03	172.16.60.98	CentOs7	4.16.1-1.el7.elrepo.x86_64

三、通过volume实现数据持久化

　　3.1 volume说明

　　卷是绕过联合文件系统的一个或多个容器内的特定目录。 卷被设计为保持数据，与容器的生命周期无关。 因此，Docker在删除容器时不会自动删除卷，也不会“垃圾收集”不再由容器引用的卷。 也称为：数据卷。

　　需要更详细了解volume可参考官方文档：https://docs.docker.com/storage/volumes/

　　3.2 使用格式

docker service create \\
--replicas 1或2或3... \\
--name SERVICE-NAME \\
--mount type=volume,src=<VOLUME-NAME>,dst=<CONNTAINER-PATH> \\
<IMAGE>

　　3.3 创建服务的volume

When you start a service and define a volume, each service container uses its own local volume. 
None of the containers can share this data if you use the local volume driver, but some volume drivers do support shared storage.
 Docker for AWS and Docker for Azure both support persistent storage using the Cloudstor plugin.

使用service的方式创建的volume数据卷，该service中的容器只会使用其所在节点服务器的中的volume。
当使用本地数据卷驱动时，所用的容器都无法共享其数据。
但是有一些数据卷驱动支持共享存储。

 

　　1）创建数据卷

[root@manager ~]# docker service create \\
--replicas 5 \\
--name my-web \\
--mount type=volume,src=nginx-vol,dst=/data \\
nginx

nsrkogg0x5t617qszxylv6rfn
overall progress: 5 out of 5 tasks 
1/5: running   [==================================================>] 
2/5: running   [==================================================>] 
3/5: running   [==================================================>] 
4/5: running   [==================================================>] 
5/5: running   [==================================================>] 
verify: Service converged


参数说明：

--replicas：创建5个nginx副本；
--name：自定义名称为my-web；
--mount：挂载类型为volume；
src：src挂载源为nginx-vol，相当于执行了docker volume nginx-vol；
dst：dst挂载目的路径为nginx容器中的路径/data；
nginx：通过nginx镜像来运行；

　　

　　2）查看创建的副本

[root@manager ~]# docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
nsrkogg0x5t6        my-web              replicated          5/5                 nginx:latest        
[root@manager ~]# docker service ps my-web
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE           ERROR               PORTS
sv6ho8p1ngoo        my-web.1            nginx:latest        manager             Running             Running 2 minutes ago                       
p601cxw8x5gr        my-web.2            nginx:latest        node-02             Running             Running 2 minutes ago                       
qcgdyxkwzk00        my-web.3            nginx:latest        node-03             Running             Running 2 minutes ago                       
9adosd6zoaeb        my-web.4            nginx:latest        node-01             Running             Running 2 minutes ago                       
jjv4if4glv4b        my-web.5            nginx:latest        manager             Running             Running 2 minutes ago

　　

 　　3）查看数据卷、挂载的数据

在每个有task节点上都会自动创建一个nginx-vol的数据卷

# manager 节点
[root@manager ~]# docker volume ls
DRIVER              VOLUME NAME
local               nginx-vol

# 工作节点
[root@node-02 ~]# docker volume ls
DRIVER              VOLUME NAME
local               nginx-vol

　　在通过docker volume inspect nginx-vol可以看到nginx-vol卷自动挂载到了/var/lib/docker/volumes/nginx-vol/_data目录下

[root@manager ~]# docker volume inspect nginx-vol
[
    {
        "CreatedAt": "2018-04-11T18:08:32+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/nginx-vol/_data",
        "Name": "nginx-vol",
        "Options": {},
        "Scope": "local"
    }
]

　　

　　4）本地数据卷驱动数据不能共享

本地数据卷驱动创建的数据卷nginx-vol，其持久化的数据只能被本节点上service中的容器使用。在不同节点的数据卷中新建不同的文件，查看每个容器读取文件的情况:

# 在/var/lib/docker/volumes/nginx-vol/_data 新建文件


# manager: manager.txt
root@9590af9e71f5:/data# ls
manager.txt


# node-01: node-01.txt
root@d5d785dbcdba:/data# ls
node-01.txt

......

其余节点是一样的，所以每个容器只能使用本节点数据卷中的内容

　　 

四、Swarm 共享存储NFS

　　当构建一个有容错机制的应用时，有一些数据或文件需要共享到各个节点服务的容器中，有多种方法可以实现，其中一种就是外部存储系统，比如NFS或者Amazon S3。

　　

　　4.1 安装nfs

所以节点安装

yum -y install nfs-utils

# 在manager节点上启动nfs服务端
[root@manager ~]# systemctl enable nfs

[root@manager ~]# systemctl start nfs

# 工作节点上启动nfs客户端
systemctl start rpcbind

　　4.2 在manager节点上配置nfs

# 创建目录
[root@manager ~]# mkdir -p /data/nfs_vol

# 设置nfs
vim /etc/exports

# swarm nfs share volume
/data/nfs_vol 172.16.60.0/24(rw,sync,no_root_squash)   
 
/data/nfs_vol : 共享的目录
172.16.60.0/24 : 可以访问的主机网段
rw : 可读写权限，只读权限ro
sync : 同步，数据更安全，速度慢
async : 异步，速度快，效率高，安全性低
no_root_squash ：NFS 服务共享的目录的属性, 如果用户是root, 对这个目录就有root的权限

# 重启nfs
[root@manager data]# systemctl restart nfs　

　   4.3 测试挂载nfs共享目录　

在node-01节点

[root@node-01 ~]# mount -t nfs 172.16.60.95:/data/nfs_vol /tmp
[root@node-01 tmp]# touch a.txt
[root@node-01 tmp]# ls
a.txt


# 在manager节点查看
[root@manager ~]# ls /data/nfs_vol/
a.txt


#可以，umount 掉
[root@node-01 ~]# umount /tmp

　　4.4 使用nfs volume创建服务

 　　1）创建服务

[root@manager ~]# docker service create \\
> --replicas 5 \\
> --name my-nginx \\
> -p 80:80 \\
> --mount \'type=volume,src=nfs-vol,dst=/usr/share/nginx/html,volume-driver=local,volume-nocopy=true,volume-opt=type=nfs,volume-opt=device=172.16.60.95:/data/nfs_vol,"volume-opt=o=addr=172.16.60.95,vers=4,soft,timeo=180,bg,tcp,rw"\' \\
> nginx

　　

　　如果遇到报错：　

1/5: failed to chmod on /var/lib/docker/volumes/nfs-vol/_data: chmod /var/lib/d… 
2/5: failed to chmod on /var/lib/docker/volumes/nfs-vol/_data: chmod /var/lib/d… 
3/5: failed to chmod on /var/lib/docker/volumes/nfs-vol/_data: chmod /var/lib/d… 
4/5: failed to chmod on /var/lib/docker/volumes/nfs-vol/_data: chmod /var/lib/d… 
5/5: failed to chmod on /var/lib/docker/volumes/nfs-vol/_data: chmod /var/lib/d…


# 加一个参数
volume-nocopy=true　　

　　2）查看服务

[root@manager ~]# docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
7xfkk34fs23o        my-nginx            replicated          5/5                 nginx:latest        *:80->80/tcp
[root@manager ~]# docker service ps my-nginx
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE           ERROR               PORTS
tmb0ifqwwiys        my-nginx.1          nginx:latest        manager             Running             Running 2 minutes ago                       
1899caz2mpuc        my-nginx.2          nginx:latest        node-01             Running             Running 2 minutes ago                       
o25ssf6zsbzo        my-nginx.3          nginx:latest        node-03             Running             Running 2 minutes ago                       
uhj1otbqw1ph        my-nginx.4          nginx:latest        node-03             Running             Running 2 minutes ago                       
jna7v8v6k1vm        my-nginx.5          nginx:latest        node-02             Running             Running 2 minutes ago 

　　3）查看数据卷

[root@manager ~]# docker volume ls
DRIVER              VOLUME NAME
local               nfs-vol

　　和volume一样，每个分配task的节点上都会有这个nfs-vol的数据卷

　　4）测试共享性

#刚才将数据卷挂载到了nginx的默认web目录/usr/share/nginx/html,是可以直接访问其中静态文件的

1. 在manager节点/var/lib/docker/volumes/nfs-vol/_data 新建 a.txt

2. 在node-01 /var/.../_data 中修改a.txt
    It\'s nfs volume test.

3.访问测试

　　

　　测试表明节点间可以通过nfs volume实现数据共享。

五、使用bind方式持久化数据

　　5.1 bind说明

　　Docker早期就支持这个特性。与volumes相比，Bind mounts支持的功能有限。使用bind mounts时，宿主机上的一个文件或目录被挂载到容器上。　

警告：使用Bind mounts的一个副作用是，容器中运行的程序可以修改宿主机的文件系统，
　　　包括创建，修改，删除重要的系统文件或目录。这个功能可能会有安全问题。

　　详细了解可参考官方文档：https://docs.docker.com/storage/bind-mounts/

　　5.2 使用格式　　

1. 读写挂载格式

#docker service create \\
--replicas 1或2或3... \\
--name SERVICE-NAME \\
--mount type=bind,src=<VOLUME-NAME>,dst=<CONNTAINER-PATH> \\
<IMAGE>

2.只读挂载格式

#docker service create \\
--replicas 1或2或3... \\
--name SERVICE-NAME \\
--mount type=bind,src=<VOLUME-NAME>,dst=<CONNTAINER-PATH>,ro  \\
<IMAGE>

　　5.3 创建服务

　　1）创建挂载目录　

# 在每个节点上创建
 mkdir -p /data/bind_vol

　　2）使用bind形式创建服务

[root@manager ~]# docker service create \\
> --replicas 5 \\
> --name my-web \\
> -p 80:80 \\
> --mount type=bind,src=/data/bind_vol,dst=/usr/share/nginx/html \\
> nginx
yt7gsouyw6zcdp13tay3f5eu4
overall progress: 5 out of 5 tasks 
1/5: running   
2/5: running   
3/5: running   
4/5: running   
5/5: running   
verify: Service converged

　　整个形式和volume是差不多的，只不过需要指定目录路径。同样各个节点之间的数据不共享，每个容器只能使用本节点中数据卷中的内容。