知名分布式存储系统包含哪些？

Posted 2023-04-27

虽然hdfs与openstack对象存储（swift）之间有着一些相似之处，但是这两种系统的总体设计却大不一样。
　　1这家基于openstack的公司的创始人。
　　chuck刚才详细介绍了两者的技术差异，但是没有讨论两者可想而知的融合，openstack设计峰会上抛出了融合这个话题。简而言之，hdfs被设计成可以使用hadoop，跨存储环境里面的对象实现mapreduce处理。对于许多openstack公司（包括我自己的公司）来说，支持swift里面的处理是路线图上面的一个目标，不过不是每个人都认为mapreduce是解决之道。
　　我们已讨论过为hdfs编写包装器，这将支持openstack内部存储应用编程接口（api），并且让用户可以针对该数据来执行hadoop查询。还有一个办法就是在swift里面使用hdfs。但是这些方法似乎没有一个是理想的。
　　openstack社区方面也在开展研究开发方面的一些工作，认真研究其他替代性的mapreduce框架（riak和couchdb等）。
　　最后，现在有别的一些存储项目，目前“隶属于”openstack社区（sheepdog和hc2）。充分利用数据局部性，并且让对象存储变得“更智能”，这是预计会取得进步的一个领域。 参考技术A 阿里云、腾讯云、杉岩数据等 参考技术B ceph相关的有元核云、华为的oceanstor9000、UDS等。本回答被提问者采纳

Hadoop之HDFS分布式文件系统具有哪些优点？

  随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。

1. 支持超大文件

  HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据访问吞吐量，相应的，HDFS开放了一些POSIX的必须接口，容许流式访问文件系统的数据。

2. 高容错性能

  HDFS面向的是成百上千的服务器集群，每台服务器上存储着文件系统的部分数据，在集群的环境中，硬件故障是常见的问题，这就意味着总是有一部分硬件因各种原因而无法工作，因此，错误检测和快速、自动的恢复是HDFS最核心的架构目标，因此，HDFS具有高度的容错性。

3. 高数据吞吐量

  HDFS采用的是“一次性写，多次读”这种简单的数据一致性模型，在HDFS中，一个文件一旦经过创建、写入、关闭后，一般就不需要修改了，这样简单的一致性模型，有利于提高吞吐量。

4. 流式数据访问

  HDFS的数据处理规模比较大，应用一次需要访问大量的数据，同时这些应用一般都是批量处理，而不是用户交互式处理，应用程序能以流的形式访问数据集。

  Hadoop已经迅速成长为首选的、适用于非结构化数据的大数据分析解决方案，HDFS分布式文件系统是Hadoop的核心组件之一，保证了大数据的可靠存储，与MapReduce配合使用，可以对结构化和复杂大数据进行快速、可靠分析，从而为企业做出更好的决策，促进收入增长，改善服务，降低成本提供有力支撑！