分布式存储市场的前浪们，你们认识几个？| Neo专栏

Posted 2021-04-19 NEO智能经济

长期以来，分布式存储（Decentralized Storage）一直被称为是下一代互联网（Next Generation Internet）的核心。在分布式环境中，能够保证用户在需要数据时即可随取随发，将直接影响使用体验。但由于缺乏激励机制，分布式存储的功能开发和大众的可访问权限一直受到限制。

自从区块链出现以来，各种分布式存储项目开始探索基于激励层的场景开发，与中心化存储项目争夺市场。

本文，我们将对比 NeoFS 等多个当下知名的分布式存储项目，深入探讨这一市场的潜在应用场景。

为什么要使用分布式存储？

无论是个体用户还是有大量存储需求的企业，云存储的简单性和低维护量致使数据被大规模迁移到中心化服务器。规模经济的不断演化，一个又一个的大型数据孤岛出现了。正如当下，亚马逊、微软、IBM 和 Google 等技术巨头都拥有着各自的数据孤岛。

尽管公司间的竞争可以让用户在多个服务提供商间进行选择，但服务本身的性质通常会让大众开始关注数据隐私的保护与安全性。向云存储的转变也为数据盗窃创造了更多机会。欧盟主要隐私监管机构在其 2019 年报告中报告，与 2018 年相比，有效数据泄露事件增加了 71 ％。

2005-2019年 美国的年度数据泄露事件和公开记录

分布式存储网络将以多种途径影响现有的云市场。在去中心化网络环境中，用户所上传的数据将由多个节点进行管理与存储，即便单个节点发生故障也不会对用户数据产生威胁。

区块链集成还可以自然包含公钥加密。数据通常会在存储到主机之前先经过加密，只有其合法所有者和所有者选择与之共享的任何一方才能解密。这一过程可以使这些服务不受审查和操纵的影响，并使攻击中丢失的任何数据对攻击者无用。

此外，区块链技术集成提供了对激励层的访问权限，该激励层可用于奖励良好行为或惩罚恶意活动。这使得这些平台可以通过服务全球市场来利用加密货币的全球性和无边界性。

最后，分布式存储解决方案是经济高效的有力证明。区别于数据孤岛产生的大量开销，分布式网络利用全球用户设备中未使用的存储容量，激励用户为网络贡献其存储空间。在理想情况下，这将产生大量供应关系，从而长期压低价格。

不利的一面是，分布式存储技术的复杂性也催生了许多亟待解决的问题，否则可能无法为用户提供与现有中心化存储服务可比的体验。比如原始可扩展性，构建激励层的基础设施以保持开放的市场，以及确保遍布全球的动态网络的数据完整性。

分布式存储项目

尽管分布式存储市场逐渐热闹了起来，但仔细考量这些项目，各自都有偏向的目标市场和场景。今天就先来介绍以下四个项目。

NeoFS

早在 Neo 白皮书中就提到了 的概念——去中心化存储系统。

该系统由 负责开发，旨在让企业和个人可以拥有安全与透明的存储服务。NeoFS 将数据的控制权完全交还给用户，用户可以选择存储服务的地理位置、可靠级别、节点数量、硬盘类型、容量等存储属性，也允许各地用户选择符合当地数据监管的存储方案。

NeoFS 通过商品或企业级硬件从用户那里获取存储空间，将未使用的 HDD / SDD 容量出租给网络，以换取 GAS。通过在网络多图上使用集合点哈希可以较准确地计算数据放置，即使在去中心化环境下，该解决方案也可通过消除节点之间不必要的元数据传输需求来实现极高的可扩展性。

该解决方案还引入了交互式的零知识证明协议，协议基于同态散列来异步保持整个网络上的数据完整性，提供统一的审核；若未能通过审核将会阻止付款，防止节点尝试通过删除数据来操控网络。

Sia

启动于 2013 年的 Sia 是一个基于 POW 的分布式存储项目，旨在提供一个去中心化的、有奖励机制的、数据加密、低廉费用、使用方便的云储存系统。

用户使用 Sia 的客户端上传到文件，Sia 客户端将会把文件分割成多份比如5份，分别存放到 15 个主机中, 即表示一份文件同时保存在 3 个备份，而且每个主机只保存一部分文件的数据，这就保证了数据的隐私性，没有人可以偷窥你的文件。

通过 SiA，一个文件可以有多个备份，确保文件不会被他人偷窥，并且可以随时随地地下载文件。用户在托管主机文件的同时，也可以把自己的电脑当作主机，托管他人的文件，赚些托管费。

自 2016 年 6 月首次发布稳定版以来，Sia 在软件开发和存储网络增长方面均取得了持续的进步。根据 siastats.info 的数据，该网络最初侧重于归档应用程序，当前存储的数据超过 800 TB，并且在全球分布着 300 多个活动主机。

Filecoin

Filecoin 是由协议实验室发起的，该协议实验室是广受欢迎的行星际文件系统（IPFS）的创建者。于 2015 年启动的该系统是一种点对点存储网络，旨在彻底改变数据在网络上的分配方式。

与超文本传输协议（HTTP）（当前的 Web 标准）不同，IP 是在 Web 标准中从托管数据的特定位置请求数据的，而 IPFS 请求仅指定数据的加密哈希。可以将其视为类似指纹的标识符。

自 IPFS 发布以来，这已被证明是其主要弱点-需要激励节点固定内容并保证其可用性。这就是 Filecoin 发挥作用的地方，被设计为 IPFS 的基于区块链的激励层。尽管尚未正式发布，但该团队在 4 月份的路线图更新中报告说，其 TestNet 上已验证的存储超过了 5 PB。根据同一消息来源，Filecoin 预计将于 2020 年 7 月至 8 月之间启动其 MainNet。

Swarm

Swarm 是以太坊 Web3 支持的一个本地存储服务计划，提供了去中心化的 P2P 存储服务，并且数据直接存储在 DHT 表中。

Swarm 的主要目标是提供充分的去中心化和冗余存储的以太坊公共记录，尤其是存储和分发 dApp 的代码和数据以及区块链数据。从经济角度来看，它允许参与者有效汇集他们的存储容量和带宽资源，以给网络的所有参与者提供这些服务，同时能够接受以太坊的激励。

备份与存档

分布式存储领域里，一些最简单的应用已经是当今最常见的存储应用之一。云存储已在个人和企业中广泛流行，为那些希望长期保留重要文件或在意外发生时增加冗余设置的人提供了保障。

为了与当今的云服务竞争，打算满足此应用方案的分布式存储提供商通常会将原始容量置于性能或带宽之上。这使其成为开放式分布式存储网络的理想用例，该网络可以在开放市场上出售任何设备的未使用空间，从而通过大量供应来降低价格。

由于 NeoFS、Sia、Filecoin 和 Swarm 都提供了类似的基础架构来支持开放数据存储市场，因此它们都可以从这种用例中受益。同样，每个项目都提供了一种数据复制机制来确保持久性，以应对分布式网络中固有的不确定性因素。每种协议都采用类似的方法，即使用纠删码或类似的技术来拆分数据，然后将副本分发到网络上的多个节点以实现冗余。

为了确保节点可以保持数据的访问性，对良好行为的鼓励和定期进行数据完整性检查（例如 NeoFS 的零知识数据验证机制或 Filecoin 提出的复制证明）使遵循规则的成本比尝试进行成本低欺骗网络。

NeoFS 零知识数据审核机制，用于发现损坏或恶意的节点

在上述网络中，Sia 当前在备份和归档用例上保持主导地位，这是所讨论的唯一具有有效 MainNet 的协议。Sia 的另一独特优势进一步巩固了这一地位。其基于种子的文件恢复服务，使用户可以创建网络上存储的当前文件的快照。

该种子使用户可以随时随地从任何位置恢复这些文件，从而使其成为功能强大的工具。但是，该团队指出，该解决方案并不是“一劳永逸”的，因为用户必须确保文件合同保持活动状态才能还原文件。这意味着用户必须每隔几周手动访问 Sia 来续订合同，或预留自动续订的费用。

虚拟主机和内容分发

有时，目标并非主要是长时间保留数据，而是快速将数据提供给用户。这是 Web 前端的典型情况，也适用于经常访问的内容，例如音乐，视频或游戏流。

为了满足这些用户的需求并与数据中心竞争，这些应用程序的存储提供商可能会优先考虑性能（例如 SSD 优于 HDD）和大带宽。此外，将内容放置在尽可能靠近用户的位置有助于减少满足检索请求所需的时间。

当谈到优化数据放置时，NeoFS 允许客户在进行初始数据放置时进行自我优化。网络上的存储节点可以在加入网络时定义其地理位置，存储类型，容量和价格，为租户在放置数据时提供重要信息。例如，公司可能希望专门针对基于美国的存储节点，以帮助更快地将数据传递给美国用户。

此外，NeoSPCC 还创建了 CDN 服务，以进一步改善性能和延迟。与 Skynet 相似，可以使用缓存和地理位置来优化数据传输，并通过独立的 CDN 网络层请求存储在 NeoFS 上的内容。将来，网络参与者将能够使用或托管自己的 NeoFS.CDN Edge，即使数据完全存储在另一个区域中，也可以提供健康的端点来尽快提供内容。

在 Send.NeoFS 服务中可以看到运行 NeoFS.CDN 的示例。用户当前可以进行公共测试，可以将具有指定生存期的文件上载到 NeoFS TestNet，并通过链接共享它们以演示服务。

以太坊的 Swarm 提出了一种特别优雅的解决方案。通过其节点同步和缓存机制，Swarm 被设计为充当“ 自动缩放弹性云 ”，其中特定内容的流行度的增长将增加附近缓存块的节点的数量，进而有助于优化路由。通过减少任何给定请求的平均跳数为最终用户。

最终结果是一个分布式系统，该系统自然地对其自身进行了配置以实现快速分发，使其成为此类应用程序场景的有力竞争者，尤其是对于已经以其他方式与以太坊集成的服务。

缓存如何优化最终用户的内容交付时间的示例

Filecoin 采用了一种激励机制来确保内容的快速交付。通过将网络划分为存储和检索市场，帮助区分不同类型的存储提供商（提供高容量的存储提供商和专注于快速检索的存储提供商），可以实现此目的。这可以帮助用户选择更满意的提供商，从而提供 IPFS 的基础结构，以用作响应式 CDN /网络托管服务。

尽管在数据档案市场中处于强势地位，但从历史上看，提供数据一直是 Sia 的弱点，该团队旨在在2月份推出 Skynet（Sia 的第 2 层网络）来解决这一问题。

天网通过天网门户（通常是私有使用的修改后的 Sia 节点）和天网 Webportals 进行操作。Webportals 是配有 Web UI 的可公开访问服务器，允许用户上传或访问 Skynet 内容而无需任何其他软件，类似于 NeoFS 的协议网关。

利用 Sia 后端进行存储，Skynet 旨在为最终用户增加文件共享和内容分发功能，并利用门户的改进延迟来及时交付请求。

尽管可能需要进一步的发展，才能使所讨论的任何网络在一致的交付时间和成本方面持续挑战当今的云服务，但每个网络都表明，这几乎可以肯定是“何时”而不是“是否”的问题。

通过智能合约与链下数据进行交互

智能合约平台的创建为开发人员提供了一种用于不信任地执行业务逻辑的环境。但是，这仅涵盖特定应用程序的一个方面。经常可能会要求用户通过中心化 Web 前端访问服务，从而重新引入信任要求，并且项目可能会运行或租用自己的服务器来处理应用程序所需的任何其他数据。

尽管如上一节所述，尽管其中一些用例可以通过考虑到内容分发而设计的协议来满足，但区块链应用程序仍经常依赖于脱链数据存储，从而带来了对信任的担忧。为了允许创建真正的分布式式应用程序，可以使用分布式脱链存储来托管两个用户界面并替换这些集中式后端。

在理想情况下，开发人员可以将代码编写到智能合约中，以从链外源请求一段数据，对数据进行处理，然后保留更改或继续进行操作。问题在于，智能合约本质上仅限于执行环境提供的指令和数据集。

存储操作将通过 Neo3 内置的 Oracle 服务传递,

以允许智能合约与分布式式脱链存储进行交互

简单地说；如果虚拟机不具有访问链下服务的能力，则必须将数据存储在链上才能通过合同进行访问。反之，这意味着数据需要与合同一起部署，或者通过事务聚合将其随时间累积。

以这种方式在链上获取数据可提供彻底的冗余，但这伴随着每字节的极高价格，这不可能满足许多开发人员的需求，尤其是在需要越来越大的数据集的情况下。

尽管 Sia 和 Filecoin 都表示有兴趣通过跨链桥直接使智能合约可以访问脱链数据，但在设计合约与存储网络互操作之前，必须与区块链 VM 或 Oracle 服务进行适当集成。

NeoFS 是尝试提供此功能的已知分布式式存储网络中的第一个。Neo 的本机 Oracle 服务完成后，通过 NeoVM 运行的合同将能够请求甚至操作 NeoFS 链下存储的数据。这可以为集中后端提供一种功能替代方案，同时避免了对链上存储相关的高成本和通常不必要的冗余的需求。

这种集成使 NeoFS 成为唯一能够满足此应用场景的已知分布式式存储系统，从而促进了可能成为第一个真正的分布式式应用程序的创建-在该系统中，可以以分布式式方式为应用程序的后端数据库和面向用户的前端提供服务。

结语

面对目前云存储的难题，如备份安全性、较高的使用费、操作便捷性等，区块链技术的愈发成熟不断为分布式存储市场提供更多发展可能性。尽管目前，以上区块链项目仍处于试验阶段，但它们指明了云领域未来的发展方向。

在前不久的 Consensus 2020 大会上，NeoSPCC 首席信息官 Stanislav Bogatyrev 正式宣布了 的下一个里程碑目标：分布式去服务器化计算，与可提供大规模计算的 Lamda 相结合，为实体经济打造一个完全云端化的服务平台。

分布式存储届的先行者们，冲鸭！

关于 Neo 的更多内容，

欢迎订阅 Neo Connect