centos7.4安装MFS分布式文件系统

Posted 2020-10-28

多台服务器通过NFS方式共享一个服务器的存储空间，使得NFS服务器不堪重负，且会有单点故障问题，虽然用rsync可以使数据同步备份到另一台服务器，但对提高整个系统性能无帮助。采用MFS分布式文件系统，服务器之间的数据访问不再是一对多，而是多对多的关系，使性能大幅提升。下载地址http://ppa.moosefs.com/src/
moosefs-3.0.100-1.tar.gz
fuse-2.9.2.tar.gz

MFS系统的组成（结合本案例）：
Master Server 192.168.80.81 维护元数据（数据的日期，时间戳等）
Metalogger Server 192.168.80.82 备份Master服务器日志变化，当Master服务器数据损坏，可以从中取得文件，进行恢复
Chunk Server 1 192.168.80.83 真正的存储数据的服务器，数据分块保存，在Chunk之间复制，chunk服务器越多，容量越大，可靠性和性能也就越高
Chunk Server 2 192.168.80.84
Client 192.168.80.85 像挂在NFS系统一样挂载MFS文件系统，提供测试

搭建开始：
1.Master Server设置：

service firewalld stop
setenforce 0
yum install -y zlib-devel

groupadd mfs //增加mfs组
useradd -s /sbin/nologin -g mfs -M mfs //增加mfs用户

tar xf moosefs-3.0.100-1.tar.gz -C /opt/ //解压moosefs到/opt
cd /opt/moosefs-3.0.100/

./configure \ //编译安装
--prefix=/usr/local/mfs \ //指定安装目录
--with-default-user=mfs \ //指定用户
--with-default-group=mfs \ //指定组
--disable-mfschunkserver \ //不使用chunkserver配置
--disable-mfsmount //不使用客户端配置

make && make install

cd /usr/local/mfs/etc/mfs/
cp mfsmaster.cfg.sample mfsmaster.cfg //复制模板为主配置文件
cp mfsexports.cfg.sample mfsexports.cfg //复制模板为被挂载目录和权限配置文件
cp mfstopology.cfg.sample mfstopology.cfg

cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs

chown mfs:mfs /usr/local/mfs/var/mfs

/usr/local/mfs/sbin/mfsmaster start //启动服务
netstat -anpt | grep mfs

/usr/local/mfs/sbin/mfsmaster stop //若要停止

2.MetaLogger server配置
service firewalld stop
setenforce 0
yum install -y zlib-devel

groupadd mfs
useradd -s /sbin/nologin -g mfs -M mfs

tar xf moosefs-3.0.100-1.tar.gz -C /opt/
cd /opt/moosefs-3.0.100/

./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \ //不使用chunkserver配置
--disable-mfsmount //不使用客户端配置

make && make install

cd /usr/local/mfs/etc/mfs/
cp mfsmaster.cfg.sample mfsmaster.cfg
cp mfsexports.cfg.sample mfsexports.cfg
cp mfsmetalogger.cfg.sample mfsmetalogger.cfg

cd /usr/local/mfs/var/mfs
mv metadata.mfs.empty metadata.mfs

cd /usr/local/mfs/etc/mfs/
vi mfsmetalogger.cfg
MASTER_HOST = 192.168.80.81 //指定master地址

/usr/local/mfs/sbin/mfsmetalogger start
netstat -anpt | grep mfs

3.chunkserver1和2配置：
service firewalld stop
setenforce 0
yum install -y zlib-devel

groupadd mfs
useradd -s /sbin/nologin -g mfs -M mfs

tar xf moosefs-3.0.100-1.tar.gz -C /opt/
cd /opt/moosefs-3.0.100/

./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \ //不使用master配置
--disable-mfsmount //不使用客户端配置

make && make install

cd /usr/local/mfs/etc/mfs/
cp mfschunkserver.cfg.sample mfschunkserver.cfg
cp mfshdd.cfg.sample mfshdd.cfg

vi mfschunkserver.cfg
MASTER_HOST = 192.168.80.81 //指定master地址
vi mfshdd.cfg
/data //最后一行添加，增加一个/data的挂载分区（一般使用独立的分区和磁盘挂载到此处）

mkdir /data
chown -R mfs:mfs /data

/usr/local/mfs/sbin/mfschunkserver start

netstat -anpt | grep mfs

4.客户端配置：
service firewalld stop
setenforce 0
yum install -y zlib-devel

tar xzvf fuse-2.9.2.tar.gz //客户端需要fuse模块
cd fuse-2.9.2

./configure
make && make install

vi /etc/profile //设置环境变量
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
source /etc/profile

groupadd mfs
useradd -s /sbin/nologin -g mfs -M mfs

tar xf moosefs-3.0.100-1.tar.gz -C /opt/
cd /opt/moosefs-3.0.100/

./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \ //不使用master配置
--disable-mfschunkserver \ //不使用chunk配置
--enable-mfsmount //使用客户端配置

make && make install

mkdir /opt/mfs //本机建立一个目录，用于挂载
modprobe fuse //把fuse模块加载到内核
/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.80.81 //使用mfsmount命令将/opt/mfs挂载到master地址
df -hT //查看是否挂载到位

umount /opt/mfs //若卸载，使用此命令卸载

优化客户端的MFS常用命令操作：
vi /etc/profile
export PATH=/usr/local/mfs/bin:$PATH
source /etc/profile

---

mfsgetgoal -r /opt/mfs/ //查看备份目录中文件的拷贝份数
mfssetgoal -r 3 /opt/mfs/ //设置备份目录中文件的拷贝份数，不要大于chunkserver的总数
mfsgetgoal 文件名 //查看指定文件或目录的拷贝份数

5.回到MASTER-server 192.168.80.81

/usr/local/mfs/sbin/mfscgiserv /启动监控服务

在win10上访问http://192.168.80.81:9425/mfs.cgi?masterhost=www.aa.com //注意主机名 。可以看到图形化的MFS监控界面