分布式存储mogilefs简介

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式存储mogilefs简介相关的知识,希望对你有一定的参考价值。

MogileFS



分布式存储

不能mount,基于API进行存储

分布式文件系统:(把存储空间抽象成文件格式的存储)

可以mount,基于VFS接口访问



常见的分布式文件系统

GFS:适合存储少量大文件

HDFS:适合存储少量大文件

TFS:淘宝FS,在名称节点上将元数据存储于关系型数据中,文件数量不在受限于名称节点的内存

       空间,可以存储海量小文件

TFS:腾讯FS(为开源)

Lustre:Oracle,企业级应用,重量级

GlusterFS:

MooseFS:基于FUSE的格式,可以挂载

Mogilefs:存储海量小数据(文件的源数据存放在mysql数据库中)

FastDFS:C语言研发 Mogilefs的克隆版

Perlbal:高性能的反向代理服务器(类似nginx)


mogilefs特性

1.应用层提供服务,不需要使用核心组件(仍然借助本地的文件系统工作),文件一般不切割

2.无单点

MogStored:存储多个数据副本;

Tracker:多节点;

Database:MySQL, ...

3.自动文件复制:复制的最小单位不是文件,而是class  (保存多个文件副本)

4.传输中立:无特殊协议,可以通过NFS或HTTP实现通信

5.简单的命名空间:没有目录,直接存在存储空间上,通过域(名称空间)来实现

                domain,class,fid(key)

6.不共享任何数据:

                元数据:db

                数据:mogilefs 副本

     7.不需要RAID



mogilefs角色

Tracker:

MogStored:存储数据副本;WEBDAV.

DB:存储元数据.


tracker

MogileFS的核心,是一个调度器,服务进程为mogilefsd

监听端口为7001


Database

数据库


mogstored

数据存储的位置,通常是一个HTTP(webDAV)服务器,

用来做数据的创建(put)、删除(delete)、获取(get),监听端口7500



mogilefs管理的几个概念

domain:一个mogilefs可以有多个domain

用来存放不同的文件

同一个domain内,key必须唯一

不同domain内,key可以相同


class:文件属性管理,定义文件存储在不同设备上的份数,最小复制单元


domain + fid 定位文件


             

              mogilefs工作流程图


技术分享



本文出自 “似水流年” 博客,请务必保留此出处http://sixijie123.blog.51cto.com/11880770/1878532

以上是关于分布式存储mogilefs简介的主要内容,如果未能解决你的问题,请参考以下文章

Nginx反代Mogilefs分布式储存示例

基于mogileFS搭建分布式文件系统--海量小文件的存储利器

分布式存储之MogileFS简单应用

mogilefs实现分布式存储

企业级分布式存储应用与实战-mogilefs实现

mogilefs详解