GFS分布式文件系统

Posted 袁❈晔

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了GFS分布式文件系统相关的知识，希望对你有一定的参考价值。

GFS概述

组成

  • 接口：文件系统接口
  • 功能模块(管理、存储的工具)：对对像管理的软件集合
  • 对象及属性：(使用此文件系统的消费者)

作用

  •  从系统角度来看，文件系统是对文件存储设备的空间进行组织和备份
  •  负责文件存储并对存入的文件进行保护和检索的系统
  •  具体地说，它负责为用户建立文件、存入、读出、修改、转储文件、控制文件的存储

文件系统的挂载使用

除根文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问，挂载点即分区设备文件关联的某个目录文件；类比: NFS

GlusterFSt分布式文件系统：

用于存储、管理物理文件(保存磁盘时使用)

  • 开源的分布式文件系统
  • GFS的组成：由存储服务器(比如块服务器block)、客户端(对象)以及NFS/Samba存储网关组成(接口)，三个部分
  • 无元数据的服务器；
    客户端的定位比较重要，因为他是无元数据服务器的

GFS特点

  • 扩展性和高性能
  • 高可用性
  • 全局统一命名空间
  • 弹性卷管理
  • 基于标准协议

GFS工作原理

  1. 外来请求通过挂载点时，linux 系统内核通过VFS接口，把请求发送到FUSE
  2. FUSE将数据交给内存的/dev/fuse，然后递交到GFS客户端
  3. GFS客户端对数据进行处理，并通过网络协议（如TCP、IB等），传输到GFS服务端
  4. GFS服务端接收到数据后，通过VFS接口，对数据进行相应的转存处理
     

GFS卷

基本卷：

(1)  distribute volume：分布式卷

(2)  stripe volume：条带卷

(3)  replica volume：复制卷

复合卷：

(4)  distribute stripe volume：分布式条带卷

(5)  distribute replica volume：分布式复制卷

(6) stripe replica volume：条带复制卷

(7) distribute stripe replicavolume：分布式条带复制卷

三大基本卷的特点

分布式卷

  •  文件分布在不同的服务器，不具备冗余性
  •  更容易和廉价地扩展卷的大小
  •  单点故障会造成数据丢失
  •  依赖底层的数据保护

条带卷

  •  数据被分割成更小块分布到块服务器群中的不同条带区
  •  分布减少了负载且更小的文件加速了存取的速度
  •  没有数据冗余

复制卷

  •  卷中所有的服务器均保存一个完整的副本
  •  卷的副本数量可由客户创建的时候决定
  •  至少由两个块服务器或更多服务器
  •  具备冗余性
     

部署GFS群集实验：

实验环境：

节点	   ip	                       磁盘	                      挂载点
node1	   192.168.220.50	     sdb1、sdc1、sdd1、sde1	          /data
node2	   192.168.220.35	     sdb1、sdc1、sdd1、sde1	          /data
node3	   192.168.220.40	     sdb1、sdc1、sdd1、sde1	          /data
node4	   192.168.220.45	     sdb1、sdc1、sdd1、sde1	          /data
client	   192.168.220.30

部署节点集群：

首先关闭防火墙：

systemctl stop firewalld
setenforce 0

编写脚本实现磁盘分区，并进行挂载

cd /opt
vim /opt/fdisk.sh
#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'    
echo "=================================================="
PS3="chose which disk you want to create:"
 ##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit   
do
    case $VAR in
    sda)
 ##本地磁盘就退出case语句
        fdisk -l /dev/sda   
        break ;;
    sd[b-z])
        #create partitions
        echo "n    ##创建磁盘
                p
                
                
           
                w"  | fdisk /dev/$VAR
 
        #make filesystem
##格式化
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null    
	#mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\\n" >> /etc/fstab
###使得挂载生效
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done

chmod +x /opt/fdisk.sh
./fdisk.sh

配置各个节点的/etc/hosts文件（所有节点操作）

echo "192.168.220.50 node1" >> /etc/hosts
echo "192.168.220.35 node2" >> /etc/hosts
echo "192.168.220.40 node3" >> /etc/hosts
echo "192.168.220.45 node4" >> /etc/hosts
echo "192.168.220.30 client" >> /etc/hosts

 安装、启动GFS(所有节点上操作)：

gfsrepo压缩包上传至opt目录下
unzip gfsrepo.zip
cd /etc/yum.repos.d/
mv * repos.bak/
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

 这里出现报错了，

 ​​

systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service
netstat -antp | grep glusterd
添加DNS，进行时间同步：
echo "nameserver 114.114.114.114" >> /etc/resolv.conf
ntpdate ntp1.aliyun.com

#添加节点到存储信任池中（在任意一个node中操作）
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

#在每个node节点上查看群集状态
gluster peer status

========根据以下规划创建卷=========
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

#创建分布式卷，没有指定类型，默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
gluster volume list
gluster volume start dis-volume
gluster volume info dis-volume

#指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume

#指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume

#创建分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe

#创建分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep

 部署客户端

cd /opt
unzip gfsrepo.zip 

cd /etc/yum.repos.d/
mv * repos.bak/

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-fuse

mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}

echo "192.168.220.50 node1" >> /etc/hosts
echo "192.168.220.35 node2" >> /etc/hosts
echo "192.168.220.40 node3" >> /etc/hosts
echo "192.168.220.45 node4" >> /etc/hosts

mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

df -h

测试

#客户端写入数据
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/

#查看文件分布
1、查看分布式文件分布
node1：ll -h /data/sdb1
node2：ll -h /data/sdb1
2、查看条带卷文件分布
node1：ll -h /data/sdc1
node2：ll -h /data/sdc1
3、查看复制卷文件分布
node3：ll -h /data/sdb1
node4：ll -h /data/sdb1
4、查看分布式条带卷分布
node1：ll -h /data/sdd1
node2：ll -h /data/sdd1
node3：ll -h /data/sdd1
node4：ll -h /data/sdd1
5、查看分布式复制卷分布
node1：ll -h /data/sde1
node2：ll -h /data/sde1
node3：ll -h /data/sde1
node4：ll -h /data/sde1

破坏性测试分布式文件系统

systemctl stop glusterd		##关闭glusterd服务node2节点来模拟故障
ls		##在客户端上查看文件是否正常
查看卷数据是否正常
ls /test/dis		##测试分布式是否正常
ls /test/rep		##测试复制带是否正常
ls /test/stripe		##测试条带是否正常
ll /test/dis_stripe	##测试分布式条带是否正常
ls /test/dis_rep		##测试分布复制带是否正常

其他的维护命令：
1．查看GlusterFS卷
gluster volume list

2．查看所有卷的信息
gluster volume info

3．查看所有卷的状态
gluster volume status

4．停止一个卷
gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

6．设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.226.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.226.* #设置192.168.226.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）
 

以上是关于GFS分布式文件系统的主要内容，如果未能解决你的问题，请参考以下文章

GFS分布式文件系统概述以及集群部署

GFS分布式文件系统简介及部署——让存储变得更高级

linux GlusterFS文件系统 | GFS分布式文件系统群集部署 | 超详细

GFS分布式文件系统（理论+实验+故障模拟）

GFS分布式文件系统（理论+实验+故障模拟）

GFS分布式文件系统（理论+实验+故障模拟）