分布式系统概述

Posted 2020-08-20

1.存储与文件系统

存储设备 存储设备（常见的是磁盘/硬盘，固态硬盘）

文件系统 文件系统是操作系统用于存储设备或分区上的文件的方法和数据结构

分布式文件系统 文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过网络与节点相连

2.分布式文件系统

 

3.常见的分布式文件系统有：

GFS： Google基于Linux的专有分布式文件系统
HDFS： Hadoop 实现了一个分布式文件系统
Lustre：大规模的、安全可靠的，具备高可用性的集群文件系统 由SUN公司开发和维护的。
Ceph ：性能最高，C++编写的代码，支持Fuse，并且没有单点故障
GridFS ：MongoDB是一种知名的NoSql数据库，GridFS是 MongoDB的一个内置功能
mogileFS ：由memcahed的开发公司danga一款perl开发的产品， 目前国内使用mogielFS的有图片托管网站yupoo等。
TFS ：淘宝的一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统 
　　　　官网 ： http://code.taobao.org/p/tfs/wiki/index/ 
FastDFS ：一个开源的轻量级分布式文件系统，特别适合相册网站、视频网站。 
　　　官方论坛 http://bbs.chinaunix.net/forum-240-1.html

分布式文件系统各自适用于不同的领域。 它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。

4.分布式文件系统特点

1.扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点 存储海量数据是分布式系统的重要特性

2.高可用性: 在分布式文件系统中，高可用性包含两层， 一是整个文件系统的可用性，二是数据的完整和一致性。

3.协议和接口: 分布式文件系统提供给应用的接口多种多样，Http RestFul接口

4.弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源

5.压缩、加密、去重、缓存和存储配额: 这些功能的提供往往考验一个 分布式文件系统是否具有可扩展性，一个分布式文件系统如果能方便的 进行功能的添加而不影响总体的性能