非结构化数据存储方案

Posted 2020-12-30 darrenchan

ceph

官方网站：http://docs.ceph.org.cn/

简单介绍：

Ceph是一个开源的分布存储系统，同时提供对象存储、块存储和文件存储。linux内核2.6.34将ceph加入到内核中，红帽基于ceph出了redhat ceph storage.

支持TB级存储

支持高可用、容灾备份（当然了，这是存储的常见功能）

支持上百节点的负载均衡

系统架构：

OpenStack Swift

官方网站：https://docs.openstack.org/swift/latest/

简单介绍：

OpenStack的存储项目，提供了弹性可伸缩、高可用的分布式对象存储服务，适合存储大规模非结构化数据。作为一个开源的云平台，本身的存储系统制约着平台的发展，所以swift在可靠性、性能上更加优秀。

系统架构：

Swift 采用完全对称、面向资源的分布式系统架构设计，所有组件都可扩展，避免因单点失效而扩散并影响整个系统运转；通信方式采用非阻塞式 I/O 模式，提高了系统吞吐和响应能力。

HDFS

官方网站：https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

简单介绍：

HDFS全称是Hadoop distributed file system，是一个用java语言开发的分布式文件系统，有很好的伸缩性，支持10亿+的文件，上百PB数据，上千节点的集群。HDFS设计目标是==支持海量数据的批量计算==，而不是直接与用户做交互式操作。

HDFS有很多特点：

保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。

运行在廉价的机器上。

适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。

GlusterFS

官方网站：https://www.gluster.org/

简单介绍：

GlusterFS是一个开源的分布式文件系统，可支持PB级数据量和几千个客户端，没有元数据服务器。红帽2011年花1.36亿$购买了GlusterFS,基于GlusterFS发布了一个商业存储系统。

外部架构：

内部架构：

 

参考：https://baijiahao.baidu.com/s?id=1588136621698926024&wfr=spider&for=pc