CentOS 7下搭建MFS分布式文件系统

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CentOS 7下搭建MFS分布式文件系统相关的知识,希望对你有一定的参考价值。

MFS原理

MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个服务器上,而呈现给用户的则是一个统一的资源。

MFS文件系统的组成架构:

  • 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据;
  • 元数据日志服务器(Metalogger):备份Master服务器的变化日志文件,文件类型为changlog_ml.*.mfs。当Master服务器数据丢失或者损坏时,可以从日志服务器中取得文件,进行恢复;
  • 数据存储服务器(Chunk Server):真正存储的数据的服务器。存储文件时,会把文件分块保存,并在数据服务器之间进行复制。数据服务器越多,能够使用的容量则越大,可靠性就越高,性能也就越好;
    客户端(Client):可以像挂载NFS一样挂载MFS文件系统,其操作是相同的。

MFS读取数据的过程:

  • 客户端向元数据服务器发出读请求;
  • 元数据服务器把所需数据存放的位置(ChunkServer的IP地址和Chunk编号)告知客户端;
    客户端向已知的ChunkServer请求发送数据;
  • Chunkserver向客户端发送数据。

MFS写入数据的过程:

  • 客户端向元数据服务器发送写入请求;
  • 元数据服务器与ChunkServer进行交互,但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由ChunkServers告知元数据服务器操作成功;
  • 元数据服务器告知客户端,可以在哪个ChunkServer的哪些Chunks吸入数据;
  • 客户端向指定的ChunkServer写入数据;
  • 该ChunkServer与其他ChunkServer进行数据同步,同步成功后ChunkServer告知客户端数据写入成功;
  • 客户端告知元数据服务器本次写入完毕。

系统环境:

主机 操作系统 IP地址 软件
Master Server CentOS 7.4 X86_64 192.168.100.131 mfs-1.6.27-5.tar.gz
MetaLogger Server CentOS 7.4 X86_64 192.168.100.132 mfs-1.6.27-5.tar.gz
Chunk Server 1 CentOS 7.4 X86_64 192.168.100.136 mfs-1.6.27-5.tar.gz
Cunk Server 2 CentOS 7.4 X86_64 192.168.100.138 mfs-1.6.27-5.tar.gz
Client CentOS 7.4 X86_64 192.168.100.135 mfs-1.6.27-5.tar.gz、fuse-2.9.2.tar.gz

操作步骤如下所示:

1.搭建Master Server

(1)下载源码包及安装包

#关闭防火墙及Selinux
systemctl stop firewalld.service
setenforce 0
#安装相关依赖包
yum -y install gcc gcc-c++ zlib-devel 

(2)创建用户

useradd -s /sbin/nologin -M mfs

(3)安装源码包

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver    #禁用mfschunkserver功能
--disable-mfsmount        #禁用mfsmout功能

make && make install

(4)复制文件

cd /usr/local/mfs/etc/mfs
cp mfsmaster.cfg.dist mfsmaster.cfg   #主配置文件
cp mfsexports.cfg.dist mfsexports.cfg #被挂载目录及权限配置文件
cp mfstopology.cfg.dist mfstopology.cfg #角色分布文件

技术分享图片

(5)防溢出

cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs

技术分享图片

(6)主配置文件mfsmaster.cfg和被挂载目录及权限配置文件mfsexports.cfg配置文件不需要修改

(7)启动Master Server

/usr/local/mfs/sbin/mfsmaster start

技术分享图片
技术分享图片
停止Master Server的命令是/usr/local/mfs/sbin/mfsmaster -s

2.搭建MetaLoggerServer

(1)下载源码包及安装包

#关闭防火墙及Selinux
systemctl stop firewalld.service
setenforce 0
#安装相关依赖包
yum -y install gcc gcc-c++ zlib-devel 

(2)创建用户

useradd -s /sbin/nologin -M mfs

(3)安装源码包

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver    #禁用mfschunkserver功能
--disable-mfsmount    #禁用mfsmout功能

make && make install

(4)复制文件

cd /usr/local/mfs/etc/mfs
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
cp mfstopology.cfg.dist mfstopology.cfg

技术分享图片

(5)修改配置文件mfsmetalogger.cfg

vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

    MASTER_HOST=192.168.100.131  #修改为Master Server的IP地址 

(6)启动mfsmetalogger Server

/usr/local/mfs/sbin/mfsmetalogger start

技术分享图片
技术分享图片

3.搭建Chunk Server

两台搭建Chunk Server的步骤是相同的,其步骤如下所示:

(1)下载源码包及安装包

#关闭防火墙及Selinux
systemctl stop firewalld.service
setenforce 0
#安装相关依赖包
yum -y install gcc gcc-c++ zlib-devel 

(2)创建用户

useradd -s /sbin/nologin -M mfs

(3)安装源码包

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster   #禁用mfsmaster功能
--disable-mfsmount    #禁用mfsmount功能

make && make install

(4)复制文件

cd /usr/local/mfs/etc/mfs
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg

技术分享图片

(5)修改配置文件mfschunkserver.cfg和mfshdd.cfg

vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg

    MASTER_HOST=192.168.100.131  #修改为Master Server的IP地址 
    ..... #省略部分内容
vim /usr/local/mfs/etc/mfs/mfshdd.cfg    
    .....  #省略部分内容
    /data       #添加一行/data,作为MFS的分区.生产环境最好使用独立分区或磁盘挂载到此目录

(6)创建数据目录

mkdir /data
chown -R mfs:mfs /data

(7)启动mfschunk Server

/usr/local/mfs/sbin/mfschunkserver start

技术分享图片

4.搭建客户端

(1)下载源码包及安装包

#关闭防火墙及Selinux
systemctl stop firewalld.service
setenforce 0
#安装相关依赖包
yum -y install gcc gcc-c++ zlib-devel 

(2)安装FUSE

MFS客户端依赖于FUSE

tar xzvf fuse-2.9.2.tar.gz

cd fuse-2.9.2
./configure
make && make install

设置环境变量:

vim /etc/profile

  export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

source /etc/profile

(3)安装MFS客户端

useradd -s /sbin/nologin -M mfs

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27-5/
./configure --prefix=/usr/local/mfs   
--with-default-user=mfs --with-default-group=mfs --disable-mfsmaster    #禁用mfsmaster功能
--disable-mfschunkserver  #禁用mfschunkserver功能
--enable-mfsmount  #启用mfsmount功能

make && make install

(4)挂载MFS文件系统

mkdir /mnt/mfs   #创建挂载点

modprobe fuse    #加载fuse模块到内核

/usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.100.131   #挂载mfs

df -TH   #查看挂载情况

技术分享图片

(5)MFS常用操作

为了方便使用MFS的命令,将/usr/local/mfs/bin加入到环境变量中。

vim /etc/profile

   export PATH=/usr/local/mfs/bin:$PATH   #添加

source /etc/profile    

mfssetgoal命令用来设置文件被复制的份数。
技术分享图片
创建文件测试如下:
技术分享图片
分别去2个chunkserver上查看数据目录/data,结果如下所示:
技术分享图片

5.MFS监控

Mfscgiserv使用python编写的一个web服务器,其监听端口是9425,可以在Master Server上通过命令/usr/local/mfs/sbin/Mfscgiserv来启动,用户利用浏览器可以全面监控所有客户挂载、Chunk Server、Master Server,以及客户端的各种操作等。

在客户端上通过浏览器访问http://192.168.100.131:9425
技术分享图片

以上是关于CentOS 7下搭建MFS分布式文件系统的主要内容,如果未能解决你的问题,请参考以下文章

centos7搭建分布式文件系统MFS

搭建 MFS 分布式文件系统

centos6.5下安装mfs分布式存储

分布式文件系统mfs(moosefs)搭建与配置

Linux的企业-分布式文件系统mfs(moosefs)搭建与配置

在CentOS7上部署MFS分布式文件系统