3.GlusterFS 企业分布式存储的搭建

Posted 2020-09-06

3.1 硬件要求

一般选择 2U 机型，磁盘 SATA 盘 4TB，如果 IO 要求比较高，可以采购 SSD 固态硬盘。
为了充分保证系统的稳定性和性能，要求所有 glusterfs 服务器硬件配置尽量一致，尤其是硬盘数量和大小。
机器的 RAID 卡需要带电池，缓存越大，性能越好。一般情况下，建议做 RAID 10，如果出于空间要求的考虑，需要做 RAID 5，建议最好能有 1-2 块硬盘的热备盘。

3.2 系统要求和分区划分

系统可以使用 CentOS 6.x x86_64，安装完成后升级到最新版本，安装的时候，不要使用 LV，
建议：/boot 分区 200M，/ 分区 100G，swap 分区和内存一样大小，剩余空间给 gluster 使用，划分单独的硬盘空间。
系统安装软件没有特殊要求，建议除了开发工具和基本的管理软件，其他软件一律不安装。

3.3 网络环境

网络要求全部千兆环境，gluster 服务器至少有 2 块网卡，1 块网卡绑定供 gluster 使用，剩余一块分配管理网络 IP，用于系统管理。
如果有条件购买万兆交换机，服务器配置万兆网卡，存储性能会更好。网络方面如果安全性要求较高，可以多网卡绑定。

跨地区机房配置 Gluster，在中国网络不适用。

3.4 服务器摆放分布

服务器主备机器要放在不同的机柜，连接不同的交换机，即使一个机柜出现问题，还有一份数据正常访问。

3.5 构建高性能、高可用存储

一般在企业中，采用的是分布式复制卷，因为有数据备份，数据相对安全，分布式条带卷目前对 gluster 来说没有完全成熟，存在一定的数据安全风险。

3.5.1 开启防火墙端口

一般在企业应用中 Linux 防火墙是打开的，这些 Gluster 服务器之间访问的端口如下：

# iptables -I INPUT -p tcp –dport 24007:24011 -j ACCEPT
# iptables -I INPUT -p tcp –dport 38465:38485 -j ACCEPT

上面是卷的端口，下面是硬盘的端口，磁盘越多，端口越多

3.5.2 GlusterFS 文件系统优化

• Performance.quick-read: 优化读取小文件的性能。
• Performance.read-ahead: 用预读的方式提高读取的性能，有利于应用频繁持续性的访问文件，当应用完成当前数据块读取的时候，下一个数据块就已经准备好了。
• Performance.write-behind: 在写数据时，先写入缓存内，再写入硬盘，以提高写入的性能。
• Performance.io-cache: 缓存已经被读过的

GlusterFS 性能参数调整方法

# gluster volume set <卷> <参数>

[[email protected] ~]# gluster volume set gv2 performance.read-ahead on
volume set: success
[[email protected] ~]# gluster volume set gv2 performance.cache-size 256MB
volume set: success
[[email protected] ~]# gluster volume info gv2
 
Volume Name: gv2
Type: Distributed-Replicate
Volume ID: 11928696-263a-4c7a-a155-5115af29221f
Status: Started
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: mystorage1:/storage/brick2
Brick2: mystorage2:/storage/brick2
Brick3: mystorage3:/storage/brick1
Brick4: mystorage4:/storage/brick1
Options Reconfigured:
performance.cache-size: 256MB
performance.read-ahead: on
performance.readdir-ahead: on

# GlusterFS 所有性能参数
[[email protected] ~]# gluster volume set gv2 performance.
performance.cache-max-file-size              performance.force-readdirp                   performance.nfs.flush-behind                 performance.read-ahead
performance.cache-min-file-size              performance.high-prio-threads                performance.nfs.strict-o-direct              performance.read-ahead-page-count
performance.cache-priority                   performance.io-cache                         performance.nfs.strict-write-ordering        performance.readdir-ahead
performance.cache-refresh-timeout            performance.io-thread-count                  performance.nfs.write-behind                 performance.resync-failed-syncs-after-fsync
performance.cache-size                       performance.lazy-open                        performance.nfs.write-behind-window-size     performance.stat-prefetch
performance.cache-swift-metadata             performance.least-prio-threads               performance.normal-prio-threads              performance.strict-o-direct
performance.client-io-threads                performance.least-rate-limit                 performance.open-behind                      performance.strict-write-ordering
performance.enable-least-priority            performance.low-prio-threads                 performance.quick-read                       performance.write-behind
performance.flush-behind                     performance.md-cache-timeout                 performance.read-after-open                  performance.write-behind-window-size

3.6 监控及日常维护

可以使用 Zabbix 自带模板监控 CPU、内存、主机存活、磁盘空间、主机运行时间、系统 Load 等。
日常要注意服务器的监控值，遇到报警要及时处理。

以下大多数功能是针对分布式复制卷执行的。

# 查看卷的状态
gluster volume status gv2 

# 启动完全修复
gluster volume heal gv2 full

# 查看需要修复的文件
gluster volume heal gv2 info

# 查看修复成功的文件
gluster volume heal gv2 info healed

# 查看修复失败的文件
gluster volume heal gv2 info heal-failed

# 查看脑残的文件
gluster volume heal gv2 info split-brain

# 激活 quota 功能
gluster volume quota gv2 enable

# 关闭 quota 功能
gluster volume quota gv2 disable

# 目录大小限制 /data 是相对卷挂载点的目录，下面是指 /gv2/data
gluster volume quota gv2 limit-usage /data 30MB

# 写入 40MB 文件 测试 quota
dd if=/dev/zero bs=1024 count=40000 of=/gv2/data/40M.file

[[email protected] ~]# dd if=/dev/zero bs=1024 count=40000 of=/gv2/data/40M.file
40000+0 records in
40000+0 records out
40960000 bytes (41 MB) copied, 7.53898 s, 5.4 MB/s
[[email protected] ~]# ll /gv2/data/40M.file 
-rw-r--r-- 1 root root 40960000 Jul 30 08:09 /gv2/data/40M.file

# 40 MB的文件竟然可以？下面继续写入一个大一些的文件
[[email protected] ~]# dd if=/dev/zero bs=1024 count=80000 of=/gv2/data/80M.file
dd: opening `/gv2/data/80M.file‘: Disk quota exceeded

# 这次提示超过了 quota 不能写入，说明 quota 限制的目录大小并不是那么精确。

# quota 信息列表
gluster volume quota gv2 list

[[email protected] ~]# gluster volume quota gv2 list
                  Path                   Hard-limit  Soft-limit      Used  Available  Soft-limit exceeded? Hard-limit exceeded?
-------------------------------------------------------------------------------------------------------------------------------
/data                                     30.0MB     80%(24.0MB)   0Bytes  30.0MB              No                   No

# 限制目录的 quota 信息
gluster volume quota gv2 list /data

# 设置信息的超时时间
gluster volume set gv2 features.quota-timeout 5 

# 删除某个目录的 quota 设置
gluster volume quota gv2 remove /data

# 备注：quota 功能，主要是对挂载点下的某个目录进行空间限额，而不是对组成卷组的空间进行限制。