GlusterFS

Posted 2021-02-11

分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统google Bigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。
?
?
分布式存储系统
分布式存储按其存储接口分为三种：文件存储、块存储和对象存储。
?
文件存储
通常支持POSIX接口（如glusterfs，但GFS、HDFS是非POSIX接口的），可以像普通文件系统（如ext4）那样访问，但又比普通文件系统多了并行化访问的能力和冗余机制。主要的分布式文件存储系统有TFS、cephfs、glusterfs和HDFS等。主要存储非结构化数据，如普通文件、图片、音视频等。可以采用NFS和CIFS等协议访问，共享方便。NAS是文件存储类型。
?
块存储
这种接口通常以QEMU Driver或者Kernel Module的方式存在，主要通过qemu或iscsi协议访问。主要的块存储系统有ceph块存储、sheepdog等。主要用来存储结构化数据，如数据库数据。数据共享不方便。DAS和SAN都是块存储类型。
?
对象存储
对象存储系统综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势。以对象作为基本的存储单元，向外提供RESTful数据读写接口，常以网络服务的形式提供数据访问。主要的对象存储系统有AWS、swift和ceph对象存储。主要用来存储非结构化数据
?
Glusterfs
Glusterfs是一个开源分布式文件系统，具有强大的横向扩展能力，可支持数PB存储容量和数千客户端，通过Infiniband RDMA 或Tcp/Ip 方式将许多廉价的x86 主机，通过网络互联成一个并行的网络文件系统。具有可扩展性、高性能、高可用性等特点。
?
GlusterFS概述
? ? GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。
术语：
?Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如‘SERVER:EXPORT‘
?Client:挂载了GFS卷的设备
?Extended Attributes:xattr是一个文件系统的特性，其支持用户或程序关联文件/目录和元数据。
?FUSE:Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
?Geo-Replication
?GFID:GFS卷中的每个文件或目录都有一个唯一的128位的数据相关联，其用于模拟inode
?Namespace:每个Gluster卷都导出单个ns作为POSIX的挂载点
?Node:一个拥有若干brick的设备
?RDMA:远程直接内存访问，支持不通过双方的OS进行直接内存访问。
?RRDNS:round robin DNS是一种通过DNS轮转返回不同的设备以进行负载均衡的方法
?Self-heal:用于后台运行检测复本卷中文件和目录的不一致性并解决这些不一致。
?Split-brain:脑裂
?Translator:
?Volfile:glusterfs进程的配置文件，通常位于/var/lib/glusterd/vols/volname
?Volume:一组bricks的逻辑集合
?
1、无元数据设计
? ? 元数据是用来描述一个文件或给定区块在分布式文件系统中所在的位置，简而言之就是某个文件或某个区块存储的位置。传统分布式文件系统大都会设置元数据服务器或者功能相近的管理服务器，主要作用就是用来管理文件与数据区块之间的存储位置关系。相较其他分布式文件系统而言，GlusterFS并没有集中或者分布式的元数据的概念，取而代之的是弹性哈希算法。集群中的任何服务器和客户端都可以利用哈希算法、路径及文件名进行计算，就可以对数据进行定位，并执行读写访问操作。
? ? 这种设计带来的好处是极大的提高了扩展性，同时也提高了系统的性能和可靠性；另一显著的特点是如果给定确定的文件名，查找文件位置会非常快。但是如果要列出文件或者目录，性能会大幅下降，因为列出文件或者目录时，需要查询所在节点并对各节点中的信息进行聚合。此时有元数据服务的分布式文件系统的查询效率反而会提高许多。
?
2、服务器间的部署
? ? 在之前的版本中服务器间的关系是对等的，也就是说每个节点服务器都掌握了集群的配置信息，这样做的好处是每个节点度拥有节点的配置信息，高度自治，所有信息都可以在本地查询。每个节点的信息更新都会向其他节点通告，保证节点间信息的一致性。但如果集群规模较大，节点众多时，信息同步的效率就会下降，节点信息的非一致性概率就会大大提高。因此GlusterFS未来的版本有向集中式管理变化的趋势。
?

3、客户端访问流程
? ? 当客户端访问GlusterFS存储时，首先程序通过访问挂载点的形式读写数据，对于用户和程序而言，集群文件系统是透明的，用户和程序根本感觉不到文件系统是本地还是在远程服务器上。读写操作将会被交给VFS(Virtual File System)来处理，VFS会将请求交给FUSE内核模块，而FUSE又会通过设备/dev/fuse将数据交给GlusterFS Client。最后经过GlusterFS Client的计算，并最终经过网络将请求或数据发送到GlusterFS Server上。
三、GlusterFS集群的模式
? ??GlusterFS 集群的模式只数据在集群中的存放结构，类似于磁盘阵列中的级别。
1、分布式卷（Distributed Volume）
? ? 又称哈希卷，近似于RAID0，文件没有分片，文件根据hash算法写入各个节点的硬盘上，优点是容量大，缺点是没冗余。

2、复制卷（Replicated Volume）
? ? 相当于raid1，复制的份数，决定集群的大小，通常与分布式卷或者条带卷组合使用，解决前两种存储卷的冗余缺陷。缺点是磁盘利用率低。
? ? 复本卷在创建时可指定复本的数量，通常为2或者3，复本在存储时会在卷的不同brick上，因此有几个复本就必须提供至少多个brick，当其中一台服务器失效后，可以从另一台服务器读取数据，因此复制GlusterFS卷提高了数据可靠性的同事，还提供了数据冗余的功能。

3、分布式复制卷（Distributed Replicated?Volume）
? ?分布式复制GlusterFS卷结合了分布式和复制Gluster卷的特点，看起来类似RAID10，但其实不同，RAID10其实质是条带化，但分布式复制GlusterFS卷则没有。

4、条带卷（Striped Volume）
? ? 相当于raid0，文件是分片均匀写在各个节点的硬盘上的，优点是分布式读写，性能整体较好。缺点是没冗余，分片随机读写可能会导致硬盘IOPS饱和。

5、分布式条带卷（Distributed?Striped?Volume）
? ? 当单个文件的体型十分巨大，客户端数量更多时，条带卷已经无法满足需求，此时将分布式与条带化结合起来是一个比较好的选择。其性能与服务器数量有关。
?
?
?
用三个节点搭建一个glusterfs集群，再用一个作为客户端使用
?
hostnamectl set-hostname node1.lq.com

每台机子都要做
关闭防火墙及SElinux
systemctl   stop   firewalld
setenforce   0

vi  /etc/hosts
?
192.168.80.100        master              
192.168.80.101        slave1
192.168.80.102        slave2           
192.168.80.103        client  

?

在80.100上:
ssh-keygen -t rsa
ssh-copy-id -i slave1
ssh-copy-id -i slave2
ssh-copy-id -i client

?
?
?
配置yum源为阿里源（在每个节点中都执行）

yum install wget -y
wget http://mirrors.aliyun.com/repo/Centos-7.repo

执行yum源更新命令
yum clean all
yum makecache
?

安装glusterfs
?
在master、slave1、slave2节点安装glusterfs

yum install centos-release-gluster -y
?
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl start glusterd
systemctl enable glusterd
?
?
?
在 master节点上配置，将两个slave节点加入到gluster集群中。
?
gluster peer probe master
gluster peer probe slave1
gluster peer probe slave2
?
?
查看集群状态：在master上查看
gluster peer status

?
创建数据存储目录(在三个节点上都运行)：
mkdir -p /opt/gluster/data

查看volume 状态：

gluster volume info
?
创建GlusterFS磁盘：
?
gluster volume create models replica 3 master:/opt/gluster/data slave1:/opt/gluster/data slave2:/opt/gluster/data force
?
replica 3表明存储3个备份，后面指定服务器的存储目录
?
?
GlusterFS 几种volume 模式指令：
?
一、 默认模式，既DHT, 也叫 分布卷: 将文件已hash算法随机分布到 一台服务器节点中存储。
?
命令：gluster volume create test-volume server1:/exp1 server2:/exp2
?
二、 复制模式，既AFR, 创建volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
?
命令：gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2
?
三、 条带模式，既Striped, 创建volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 ( 类似raid 0 )。
?
命令：gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2
?
四、 分布式条带模式（组合型），最少需要4台服务器才能创建。 创建volume 时 stripe 2 server = 4 个节点： 是DHT 与 Striped 的组合型。
?
命令：gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4
?
五、 分布式复制模式（组合型）, 最少需要4台服务器才能创建。 创建volume 时 replica 2 server = 4 个节点：是DHT 与 AFR 的组合型。
?
命令：gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2　server3:/exp3 server4:/exp4
?
六、 条带复制卷模式（组合型）, 最少需要4台服务器才能创建。 创建volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。
?
命令：gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4
?
七、 三种模式混合, 至少需要8台 服务器才能创建。 stripe 2 replica 2 , 每4个节点 组成一个 组。
?
命令：gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8
?
?
再次查看volume信息
gluster volume info
?
?
启动 models
gluster volume start models
?
gluster 性能调优：
?
开启 指定 volume 的配额： (models 为 volume 名称)
gluster volume quota models enable
?
限制 models 中 / (既总目录) 最大使用 10M 空间
gluster volume quota models limit-usage / 10MB
?
设置 cache 大小(此处要根据实际情况，如果设置太大可能导致后面客户端挂载失败)
gluster volume set models performance.cache-size 512MB
?
开启 异步，后台操作
gluster volume set models performance.flush-behind on
?
设置 io 线程 32
gluster volume set models performance.io-thread-count 32
?
设置 回写 (写数据时间，先写入缓存内，再写入硬盘)
gluster volume set models performance.write-behind on
?
调优之后的volume信息
gluster volume info
?
?
?
在客户端上：
部署GlusterFS客户端并mount GlusterFS文件系统
?
yum install -y glusterfs glusterfs-fuse
?
建立挂载点：
mkdir -p /opt/gfsmount
?
mount命令：
mount -t glusterfs 192.168.80.100:models /opt/gfsmount/
?
df 命令检查：df -h
?
测试：
往该目录写入文件，随后查看gluster服务器的存储情况
time dd if=/dev/zero of=/opt/gfsmount/hello bs=100M count=1
?
查看phn机器上/opt/gfsmount 目录
?
查看master机器上/opt/gluster/data目录
?
查看slave1机器上/opt/gluster/data目录
?
查看slave2机器上/opt/gluster/data目录
?
可以看到gluster服务器的每个节点上都有备份，符合之前设置的3个备份的原则
?
?
?
其他命令
?
查看GlusterFS中所有的volume:
gluster volume list
?
删除GlusterFS磁盘：
gluster volume stop models //停止名字为 models 的磁盘
gluster volume delete models //删除名字为 models 的磁盘
?
注： 删除 磁盘 以后，必须删除 磁盘( /opt/gluster/data ) 中的 （ .glusterfs/ .trashcan/ ）目录。
否则创建新 volume 相同的 磁盘 会出现文件 不分布，或者 类型 错乱 的问题。
?
?
卸载某个节点GlusterFS磁盘
gluster peer detach swarm-node-2
?
设置访问限制,按照每个volume 来限制
gluster volume set models auth.allow 10.6.0.,10.7.0.
?
?
添加GlusterFS节点：
gluster peer probe swarm-node-3
gluster volume add-brick models swarm-node-3:/opt/gluster/data
?
配置卷
gluster volume set
?
缩容volume:
先将数据迁移到其它可用的Brick，迁移结束后才将该Brick移除：
gluster volume remove-brick models slave1:/opt/gluster/data slave2:/opt/gluster/data start
?
在执行了start之后，可以使用status命令查看移除进度：
gluster volume remove-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data status
?
不进行数据迁移，直接删除该Brick：
gluster volume remove-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data commit
注意，如果是复制卷或者条带卷，则每次移除的Brick数必须是replica或者stripe的整数倍。
?
扩容：
?
gluster volume add-brick models swarm-node-2:/opt/gluster/data
?
修复命令:
gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data commit -force
?
迁移volume:
gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data start
?
pause 为暂停迁移
gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data pause
?
abort 为终止迁移
gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data abort
?
status 查看迁移状态
gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data status
?
迁移结束后使用commit 来生效
gluster volume replace-brick models swarm-node-2:/opt/gluster/data swarm-node-3:/opt/gluster/data commit
?
?
均衡volume:
gluster volume models lay-outstart
gluster volume models start
gluster volume models startforce
gluster volume models status
gluster volume models stop