了解MFS分布式文件系统

Posted 2020-12-19 wendyluo

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了了解MFS分布式文件系统相关的知识，希望对你有一定的参考价值。

MFS分布式文件系统

mooseFS（moose 驼鹿）是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接字），符号链接，硬链接。

MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。

SAN和MFS比较

技术图片

当我们存储服务器的容量达到瓶颈之后，那我们就需要采用分布式的文件系统来扩大存储容量，类似与百度云的存储，也是采用分布式存储! （一般是公司微电商或者大数据公司使用较多，小型公司使用nfs和san/iscsi）

MFS的特征

1：层析结构（目录树）

2：存储文件属性（权限，访问和修改时间）

3：支持特殊文件（块设备，字符设备，管道）

4：符号链接，软硬链接

5：对文件系统访问可以通过IP地址或者密码进行访问限制

6：高可靠（数据的多个拷贝存储在不同的计算机上）

7：通过附加新的计算机或者硬盘可以实现容量的动态拓展

8：删除文件可以根据一个可配置的时间周期进行保留

9：不受访问和写入影响的文件连贯快照

应用场景

谈及MooseFS的应用场景，其实就是去谈分布式文件系统的应用场景。

1）大规模高并发的数据存储及访问（小文件、大文件），

2）大规模的数据处理，如日志分析

MooseFS介绍

官网：http://www.moosefs.com/

MFS分布式文件系统部署方案

MooseFS 是一种分布式文件系统，MooseFS 文件系统结构包括以下四种角色：

1 管理服务器 managing server (master)：

负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝

2元数据日志服务器 Metalogger server（Metalogger）：

负责备份 master 服务器的变化日志文件，文件类型为 changelog_ml.*.mfs，以便于在 master server 出问题的时候接替其进行工作

3 数据存储服务器 data servers (chunk servers ) ：

听从管理服务器调度,提供存储空间，并为客户提供数据传输.。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器 chunkserver之间复制（复制份数可以手工指定，建议设置副本数为 3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。

4 客户机挂载使用 client computers ：

客户端挂载远程mfs服务器共享出的存储并使用。通过 fuse 内核接口挂载进程管理服务器上所管理的数据存储服务器共享出的硬盘。共享的文件系统的用法和 nfs 相似。使用 MFS 文件系统来存储和访问的主机称为 MFS 的客户端，成功挂接 MFS 文件系统以后，就可以像以前使用 NFS 一样共享这个虚拟性的存储了。

系统部署方案