分布式存储架构要怎么选？一个去中心化，一个中心化

Posted 2021-04-19 IPFS星系社区

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了分布式存储架构要怎么选？一个去中心化，一个中心化相关的知识，希望对你有一定的参考价值。

前几年的“互联网+”，近年的“区块链+”，目前各行各业或多或少的需要接轨时下最新的技术，需要新的赋能，大数据、云计算业务也在全球范围内飞速发展，那么业务发展“云”化是企业发展的一个战略方向，“云”化的第一个问题来了：存储架构怎么选？

跟上时代精确考虑

分布式存储架构要怎么选？

首先存储架构分两类，一种是传统存储阵列架构，另一种就是本文将介绍的分布式存储。进入大数据时代，随着数据量的飞速增加，企业对于数据存储的可扩展性不断提出要求，而具有扩展性强、价格低廉特点的分布式存储系统渐渐成为众多中小企业的选择。可以说，得益于大数据的繁盛发展，分布式存储架构在近几年中得到了前所未有的关注。

本文罗列两种分布式存储方式以做探讨。

GFS

被称为谷歌文件系统的GFS（Google File System），是用以实现非结构化数据的主要技术和文件系统，它的性能、可扩展性、可用性受到了广泛肯定。它主要运行在Linux系统的普通机器群上，大大降低运营商的硬件成本。

文件的大小，一直是文件系统要考虑的问题，对于任何一种文件系统，成千上万的几KB的系统很容易压死内存。所以，对于大型的文件，管理要高效，对于小型的文件，也需要支持，但是并没有进行优化。在GFS中，chunkserver（数据块服务器）的大小被固定为64MB，这样的块规模比一般的文件系统的块规模要大得多，可以减少元数据metadata的开销，减少Master的交互。但是，太大的块规模也会产生内部碎片，或者同一个chunk中存在多个小文件可能会产生访问热点。

GFS主要部件包括一个master和n个chunkserver，chunkserver同时可以被多个客户client（客户）访问。不同于传统的文件系统，GFS不再将组建错误当成异常，而是将其看作一种常见的情况予以处理。

GFS也有缺点，一系列冗余备份、快速恢复等技术，很难保证它能够正常和高效运行；中心化节点故障，数据难以恢复；主干网吞吐量有限，数据高峰压力大。

Filecoin

Filecoin是极具代表性的去中心化分布式存储网络（系统），它基于IPFS（InterPlantary File System)点对点超媒体传输协议实现，运用基于Merkle DAG的数据结构，同时，它是一条区块链公链，具有良好的扩展性、安全性，成本相交中心化存储更具优势。

在Filecoin存储网络里，用户不需要考虑文件格式、文件大小，关于文件数据的私密性和版本管理等，通过区块链技术及网络服务商（个人/组织）构建。

目前Filecoin处于研发测试阶段，数据存储像本地文件管理般简单，系统处理数据更多在于存储附加的“动作信息”，包括处理‘存储时间’、‘文件名’、‘文件大小’、‘存储周期’、‘支付费用’等等，在这个网络里，存储服务由节点负责，数据安全由系统自动化维护。

Filecoin可以实现数据防冗余、数据恢复、无单点故障、无主干网压力，愈多的节点参与Filecoin网络，它的运转将愈加高效。

P.s. 无论那种分布式存储系统，都提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲，降低网络压力。