分布式文件系统mfs（moosefs）搭建与配置

Posted 2020-08-09

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了分布式文件系统mfs（moosefs）搭建与配置相关的知识，希望对你有一定的参考价值。

一、MFS 特性：
1. Free(GPL)
2. 通用文件系统，不需要修改上层应用就可以使用
3. 可以在线扩容，体系架构可伸缩性极强。
4. 部署简单。
5. 高可用，可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能，只会加速)
6. 可回收在指定时间内删除的文件( “ 回收站 ” 提供的是系统级别的服务，不怕误操作了，提供类似 oralce 的闪回等高级 dbms 的即时回滚特性)
7. 提供 netapp，emc，ibm 等商业存储的 snapshot 特性。(可以对整个文件甚至在正在写入的文件创建文件的快照)
8. google filesystem 的一个 c 实现。
9. 提供 web gui 监控接口。
10. 提高随机读或写的效率。
11. 提高海量小文件的读写效率。
可能的瓶颈:
1. master 本身的性能瓶颈。mfs 系统 master 存在单点故障如何解决?

moosefs+drbd+heartbeat来保证 master 单点问题?不过在使用过程中不可能完全不关机和间歇性的网络中断!
2. 体系架构存储文件总数的可遇见的上限。(mfs 把文件系统的结构缓存到 master 的内存中，文件越多，master 的内存消耗越大，8g 对应 2500w 的文件数，2 亿文件就得 64GB 内存 )。
master 服务器 CPU 负载取决于操作的次数,内存的使用取决于文件和文件夹的个数。
二、MFS 文件系统结构:
包含 4 种角色:
管理服务器 managing server (master)
元数据日志服务器 Metalogger server(Metalogger)
数据存储服务器 data servers (chunkservers)
客户机挂载使用 client computers

各种角色作用：
1. 管理服务器：负责各个数据存储服务器的管理，文件读写调度，文件空间回收以及恢复，多节点拷
贝。
2. 元数据日志服务器：负责备份 master 服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在 master server 出问题的时候接替其进行工作。
3. 数据存储服务器：负责连接管理服务器，听从管理服务器调度，提供存储空间，并为客户提供数据传输。
4. 客户端：通过 fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器，看起来共享的文件系统和本地 unix 文件系统使用一样的效果。

原始的读/写速度很明显是主要取决于所使用的硬盘的性能、网络的容量和拓扑结构的,使用的硬
盘和网络的吞吐量越好,整个系统的性能也就会越好。

三、MFS部署：

实验环境： 172.25.44.1 server1.example.com Master

172.25.44.2 server2.example.com Chunkserver

172.25.44.3 server3.example.com Chunkserver

172.25.44.4 server4.example.com Client

iptables selinux disabled

（1）Master安装与配置：

[[email protected] ~]# yum install -y rpm-build

    [[email protected] ~]# rpmbuild -tb moosefs-3.0.80-1.tar.gz
    error: File /root/moosefs-3.0.80.tar.gz: No such file or directory
    [[email protected] ~]# ln -s moosefs-3.0.80-1.tar.gz moosefs-3.0.80.tar.gz
    [[email protected] ~]# rpmbuild -tb moosefs-3.0.80.tar.gz
    error: Failed build dependencies:
   fuse-devel is needed by moosefs-3.0.80-1.x86_64
   zlib-devel is needed by moosefs-3.0.80-1.x86_64
   libpcap-devel is needed by moosefs-3.0.80-1.x86_64

注意：需要解决的依赖性有fuse-devel zlib-devel libpcap-devel gcc ，没有安装包的需要自己去官网下载。解决依赖性后执行：

[[email protected] ~]# rpmbuild -tb moosefs-3.0.80.tar.gz ##进行rpmbuild编译

[[email protected] ~]# cd rpmbuild/RPMS/x86_64/

[[email protected] x86_64]# yum install moosefs-cgi-3.0.80-1.x86_64.rpm moosefs-cgiserv- 3.0.80-1.x86_64.rpm moosefs-master-3.0.80-1.x86_64.rpm moosefs-cli-3.0.80-1.x86_64.rpm moosefs-netdump-3.0.80-1.x86_64.rpm -y

    [[email protected] x86_64]# rpm -ql moosefs-cgi
    /usr/share/doc/moosefs-cgi-3.0.80
    /usr/share/doc/moosefs-cgi-3.0.80/NEWS
    /usr/share/doc/moosefs-cgi-3.0.80/README
    /usr/share/mfscgi
    /usr/share/mfscgi/acidtab.js
    /usr/share/mfscgi/chart.cgi
    /usr/share/mfscgi/err.gif
    /usr/share/mfscgi/favicon.ico
    /usr/share/mfscgi/index.html
    /usr/share/mfscgi/logomini.png
    /usr/share/mfscgi/mfs.cgi
    /usr/share/mfscgi/mfs.css
    [[email protected] x86_64]# ll /usr/share/mfscgi/*.cgi
    -rwxr-xr-x 1 root root   2542 Sep 18 00:01 /usr/share/mfscgi/chart.cgi
    -rwxr-xr-x 1 root root 318727 Sep 18 00:01 /usr/share/mfscgi/mfs.cgi

注意：*.cgi要加执行权限

启动服务：（注意：不是在/etc/init.d下启动）

    [[email protected] x86_64]# mfsmaster
    open files limit has been set to: 16384
    working directory: /var/lib/mfs
    lockfile created and locked
    initializing mfsmaster modules ...
    exports file has been loaded
    topology file has been loaded
    loading metadata ...
    metadata file has been loaded
    no charts data file - initializing empty charts
    master <-> metaloggers module: listen on *:9419
    master <-> chunkservers module: listen on *:9420
    main master server module: listen on *:9421
    mfsmaster daemon initialized properly
    [[email protected] x86_64]# mfscgiserv
    lockfile created and locked
    starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)
    访问：

访问172.25.44.1：9425

加解析：

再次访问：

（2）Chunkserver设置：

安装软件：

[[email protected] ~]# yum install -y *

修改配置文件：

[[email protected] ~]# vim /etc/mfs/mfshdd.cfg

[[email protected] ~]# mkdir /mnt/chunk1 #设置共享点

启动服务：

    [[email protected] ~]# mfschunkserver
    open files limit has been set to: 16384
    working directory: /var/lib/mfs
    lockfile created and locked
    setting glibc malloc arena max to 8
    setting glibc malloc arena test to 1
    initializing mfschunkserver modules ...
    hdd space manager: can‘t create lock file ‘/mnt/chunk1/.lock‘: EACCES (Permission denied)
    hdd space manager: no hdd space defined in /etc/mfs/mfshdd.cfg file
    init: hdd space manager failed !!!
    error occurred during initialization - exiting

权限限制，在启动chunk server前，需确保用户mfs有权限读写将要被挂载的分区

[[email protected] ~]# chown mfs.mfs /mnt/chunk1/

    [[email protected] ~]# mfschunkserver
    open files limit has been set to: 16384
    working directory: /var/lib/mfs
    lockfile created and locked
    setting glibc malloc arena max to 8
    setting glibc malloc arena test to 1
    initializing mfschunkserver modules ...
    hdd space manager: path to scan: /mnt/chunk1/
    hdd space manager: start background hdd scanning (searching for available chunks)
    main server module: listen on *:9422
    master connection module: can‘t resolve master host/port (mfsmaster:9420)
    init: master connection module failed !!!
    error occurred during initialization - exiting

修改解析（在Master后加上mfsmaster）

    [[email protected] ~]# mfschunkserver
    open files limit has been set to: 16384
    working directory: /var/lib/mfs
    lockfile created and locked
    setting glibc malloc arena max to 8
    setting glibc malloc arena test to 1
    initializing mfschunkserver modules ...
    hdd space manager: path to scan: /mnt/chunk1/
    hdd space manager: start background hdd scanning (searching for available chunks)
    main server module: listen on *:9422
    no charts data file - initializing empty charts
    mfschunkserver daemon initialized properly
    在另外一个Chunkserver做相同的操作（只改变共享点/mnt/chunk2）

访问：

（3）Client端设置：

解析，在Master后面加上mfsmaster

[[email protected] ~]# yum install -y moosefs-client-3.0.80-1.x86_64.rpm

[[email protected] ~]# vim /etc/mfs/mfsmount.cfg #设置挂载点

/mnt/mfs

[[email protected] ~]# mkdir /mnt/mfs #创建挂载点

    [[email protected] ~]# mfsmount         #挂载
    mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root
    [[email protected] ~]# df -h
    Filesystem                    Size Used Avail Use% Mounted on
    /dev/mapper/VolGroup-lv_root 6.7G 880M 5.5G 14% /
    tmpfs                         499M     0 499M   0% /dev/shm
    /dev/sda1                     485M   33M 427M   8% /boot
    mfsmaster:9421                 13G 2.3G   11G 18% /mnt/mfs

刷新网页：

测试：

在/mnt/mfs创建两个目录，并设置其文件存储份数。

[[email protected] ~]# cd /mnt/mfs/

[[email protected] mfs]# mkdir dir1 dir2

设置文件存储份数，dir1为2，dir2为1

拷贝文件，查看信息：

关闭一个chunkserver（172.25.44.3）后，查看信息：

chunkserver重新启动后，恢复正常：

恢复垃圾箱文件：

误删：

[[email protected] mfs]# rm -fr /mnt/mfs/dir2/fstab

    [[email protected] mfs]# mfsgettrashtime dir2    #查看垃圾箱中文件的保留时间
    dir2: 86400        ##86400s=1day
    [[email protected] mfs]# mkdir /mnt/mfsdeta    #创建目录

    [[email protected] ~]# ll -d /mnt/mfsdeta/
    drwxr-xr-x 2 root root 4096 Sep 19 18:40 /mnt/mfsdeta/
    [[email protected] ~]# mfsmount -m /mnt/mfsdeta/    #挂载
    mfsmaster accepted connection with parameters: read-write,restricted_ip

            [[email protected] ~]# cd /mnt/mfsdeta/
    [[email protected] mfsdeta]# ls
    sustained trash
    [[email protected] mfsdeta]# cd trash/

    [[email protected] trash]# find -type f
    ./006/00000006|dir2|fstab
    [[email protected] trash]# mv ./006/00000006\|dir2\|fstab undel/    #恢复误删文件
    [[email protected] trash]# ls /mnt/mfs/dir2/
    fstab

本文出自 “需要努力的人” 博客，请务必保留此出处http://zzkkk.blog.51cto.com/11721816/1853951

以上是关于分布式文件系统mfs（moosefs）搭建与配置的主要内容，如果未能解决你的问题，请参考以下文章