构建MFS分布式文件系统

Posted 2021-01-09 luoyan01

++++++++++++++构建MFS分布式文件系统++++++++++++++
PB级别：
企业存储空间达到PB级别，即100万GB空间。（1PB=1000TB，1TB=1000GB，1GB=1000MB）
MFS原理：
MFS是一个具有容错额网络分布式文件系统，他把数据分散存放在多个物理服务器上，而呈现给用户则是一个统一的资源。
MFS组成：
1）元数据服务器：
2）元数据日志服务器：
3）数据存储服务器：
4）客户端：
MFS拓扑：
-------Client---------Master---------MataLogger---------Chunk1---------Chunk1---------Chunk1---------
192.168.1.1 192.168.1.10 192.168.1.100 192.168.1.201 192.168.1.202 192.168.1.203
配置步骤：
一、Master
[[email protected] ~]# yum -y install zlib-devel
[[email protected] ~]# useradd mfs -s /sbin/nologin -u 98
[[email protected] ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[[email protected] ~]# cd /usr/src/mfs-1.6.27/
[[email protected] mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --
disable-mfschunkserver --disable-mfsmount
[[email protected] mfs-1.6.27]# make && make install
[[email protected] ~]# cd /usr/local/mfs/etc/mfs/
[[email protected] mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg
[[email protected] mfs]# cp mfsexports.cfg.dist mfsexports.cfg
[[email protected] mfs]# cp mfstopology.cfg.dist mfstopology.cfg
[[email protected] mfs]# cd /usr/local/mfs/var/mfs/
[[email protected] mfs]# cp metadata.mfs.empty metadata.mfs
[[email protected] ~]# vim /usr/local/mfs/etc/mfs/mfsmaster.cfg
不做任何改动
[[email protected] ~]# vim /usr/local/mfs/etc/mfs/mfsexports.cfg
不做任何改动
[[email protected] ~]# /usr/local/mfs/sbin/mfsmaster restart //启动mfs
[[email protected] ~]# ps -elf | grep mfs
[[email protected] ~]# netstat -anpt | grep mfs
[[email protected] ~]# /usr/local/mfs/sbin/mfsmaster stop //停止mfs
二、MataLogger
[[email protected] ~]# yum -y install zlib-devel
[[email protected] ~]# useradd mfs -s /sbin/nologin -u 98
[[email protected] ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[[email protected] ~]# cd /usr/src/mfs-1.6.27/
[[email protected] mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --
disable-mfschunkserver --disable-mfsmount
[[email protected] mfs-1.6.27]# make && make install
[[email protected] ~]# cd /usr/local/mfs/etc/mfs/
[[email protected] ~]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
[[email protected] ~]# vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg
修改：
MASTER_HOST = 192.168.1.10
[[email protected] ~]# /usr/local/mfs/sbin/mfsmetalogger restart //启动
[[email protected] ~]# ps -elf | grep mfs
[[email protected] ~]# netstat -anpt | grep mfs
[[email protected] ~]# /usr/local/mfs/sbin/mfsmetalogger stop //停止
三、Chunk
[[email protected] ~]# yum -y install zlib-devel
[[email protected] ~]# useradd mfs -s /sbin/nologin -u 98
[[email protected] ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[[email protected] ~]# cd /usr/src/mfs-1.6.27/
[[email protected] mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --
disable-mfsmaster --disable-mfsmount
[[email protected] mfs-1.6.27]# make && make install
[[email protected] ~]# cd /usr/local/mfs/etc/mfs/
[[email protected] mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[[email protected] mfs]# cp mfshdd.cfg.dist mfshdd.cfg
[[email protected] ~]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg
添加：
MASTER_HOST = 192.168.1.10
[[email protected] ~]# vim /usr/local/mfs/etc/mfs/mfshdd.cfg
添加：
/data
[[email protected] ~]# mkdir /data
[[email protected] ~]# chown -R mfs:mfs /data/
[[email protected] ~]# /usr/local/mfs/sbin/mfschunkserver restart
[[email protected] ~]# ps -elf | grep mfs
[[email protected] ~]# netstat -anpt | grep mfs
四、Client
1、安装fuse
[[email protected] ~]# yum -y install zlib-devel
[[email protected] ~]# tar -zxvf fuse-2.9.2.tar.gz -C /usr/src/
[[email protected] ~]# cd /usr/src/fuse-2.9.2/
[[email protected] fuse-2.9.2]# ./configure && make && make install
[[email protected] fuse-2.9.2]# vim /etc/profile
添加：
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
[[email protected] fuse-2.9.2]# . /etc/profile //立即生效
[[email protected] fuse-2.9.2]# source /etc/profile //重启生效
2、安装
[[email protected] ~]# useradd mfs -s /sbin/nologin -u 98
[[email protected] ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[[email protected] ~]# cd /usr/src/mfs-1.6.27/
[[email protected] mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --
disable-mfsmaster --disable-mfschunkserver --enable-mfsmount
如果还是有问题的，解决方法：yum -y install fuse-devel
[[email protected] mfs-1.6.27]# make && make install
[[email protected] ~]# modprobe fuse
[[email protected] ~]# mkdir /xixi
[[email protected] ~]# /usr/local/mfs/bin/mfsmount /xixi -H 192.168.1.10
[[email protected] ~]# mount
[[email protected] ~]# df -hT
[[email protected] ~]# umount /xixi //直接卸载就可以了
[[email protected] ~]# vim /etc/profile
添加：
export PATH=/usr/locla/mfs/bin:$PATH
[[email protected] ~]# source /etc/profile
或者
[[email protected] ~]# ln -s /usr/local/mfs/bin/* /usr/local/bin/
验证：
[[email protected] ~]# mfsgetgoal -r /xixi
[[email protected] ~]# mfssetgoal -r 3 /xixi
注意：生产环境Chunk Server节点数应至少大于2，文件的副本数应小于小于等于Chunk Server服务器数
[[email protected] ~]# touch /data/mfs/hehe
[[email protected] ~]# mfsgetgoal /data/mfs/hehe
MFS监控：
1）Master中：
[[email protected] ~]# /usr/local/mfs/sbin/mfscgiserv restart
2）Client中：
[[email protected] ~]# firefox http://192.168.1.10:9425 &
MFS的维护和灾难恢复
1）MFS集群的启动顺序
1启动mfsmaster进程
2启动所有mfschunkserver进程
3启动mfsmetalogger进程
4在所有客户端挂载MFS文件系统
2）MFS集群的停止顺序
1再所有客户端卸载MFS文件系统
2用mfschunkserver -s 命令停止mfschunkserver进程
3用mfsmetalogger -s 命令停止mfsmetalogger进程
4用mfsmaster -s 命令停止 mfsmaster进程
3）MFS灾难恢复
1元数据主文件metadata.mfs ，运行时命名为metadata.mfs.back
2元数据改变日志changelog*.mfs
master故障时，可以从metalogger 中回复master：
1安装一台mfsmaster，利用同样的配置来配置mfsmaster。
2将metalogger上/usr/local/mfs/var/mfs 目录下的文件复制到mfsmaster相应的目录中。
3利用mfsmetarestore命令合并数据changelogs
/usr/local/mfs/sbin/mfsmetarestore -m metadata_m1.mfs.back -o metadata.mfschangelog_m1.*.mfs
注意：恢复后的master需要重新挂载客户端。
1. 准备条件
2. 现在安装包 mfs-1.6.15.tar.gz
3. #groupadd mfs
4. #useradd -g mfs mfs
5. #cd /root
6. #tar -zxvf mfs-1.6.15.tar.gz
7. #cd mfs-1.6.15
8. #./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-defaultgroup=
mfs --disable-mfsmaster
9. #make
10. #make install
11. #准备chunk server 服务所需的配置文件:
12. #cd /etc/
13. #cp mfschunkserver.cfg.dist mfschunkserver.cfg
14. #cp mfshdd.cfg.dist mfshdd.cfg
15. #在mfshdd.cfg 加入下面的文本行你需要挂在的文件目录
16. /data/slot0
17. /data/slot1
18. /data/slot2
19. /data/slot3
20. /data/slot4
21. [[email protected] etc]# chown -R mfs:mfs /data/slot0
22. [[email protected] etc]# chown -R mfs:mfs /data/slot1
23. [[email protected] etc]# chown -R mfs:mfs /data/slot2
24. [[email protected] etc]# chown -R mfs:mfs /data/slot3
25. [[email protected] etc]# chown -R mfs:mfs /data/slot4
26. echo ‘10.200.93.71 mfsmaster‘ >> /etc/hosts
27. #请到chunksever 服务
28. #/usr/sbin/mfschunkserver start