从阿帕网到IPFS——简谈分布式存储技术发展史

Posted 2021-04-02 深圳市南山区区块链应用协会

阿帕网与中心化存储：互联网诞生的鼻祖

追溯起来，因特网起源于六十年代末的美国国防部高级研究计划署的阿帕网(ARPANet)，阿帕网可以说是计算机网络技术发展中的一个里程碑性事件，阿帕网的核心分组交换技术完整实现了硬件点对点之间的通信。到七十年代，基于阿帕网网络，科技人员研发了著名的TCP/IP协议，但这些互联网协议对于数据庞大的线上集群而言作用甚微。

一直到1989年，天才程序员、现代因特网奠基人Tim Berners-Lee发表《关于信息管理的一份提案》一文，在文中Tim Berners-Lee创造性地提出了当代互联网三大基石，URI——统一的资源标识符，作为线上资源的唯一标识；HTML——超文本标记语言，用以描述超文本文档；HTTP——超文本传输协议，用以传输超文本。

通过两年时间的开发，九十年代初，HTTP首次面市——HTTP/0.9版，HTTP/0.9设计极其简单，程序只有一个命令GET。并且基于协议规定：服务器只设计允许回应html格式的字符串，无法回应其他格式，服务器一旦完成发送，便立即关闭TCP连接。从现代技术的角度看来，这种设计极其简陋便易，可就是这一微不足道的设计，却悄无声息地打开了一扇尘封已久的互联网梦幻之门。

在HTTP诞生之初，其被设计成为一对多模式，也即把数据放于单一服务器上，然后再由单一服务器传送至不同节点端。如此一来就导致HTTP协议诞生了诸多意想不到的弊端，当足够多用户同时访问服务器时，因FTP服务器处理能力和带宽并不是无限制的，其下载速率会快速下降，部分用户可能无法顺畅访问服务器。目前我们仍旧在采用HTTP协议，这也就是为什么网络延迟、崩溃等现象依旧在发生。除此之外，当单一的服务器遭遇骇客攻击或宕机时，网页端就无法继续提供服务，集中存储数据的服务器一旦遭遇意外事件，所有数据都将归零并将面临泄露的风险。中心化服务器的本质缺陷也是导致各种数据门的罪魁祸首，这从技术角度上看似是可以解决的，但归根到底还是因为存储的本质逻辑过于中心化。

P2P:分布式理念的先驱

HTTP协议一直统治着全球互联网14年，直到2003年，BitTorrent协议首次面世。BitTorrent协议是架构于TCP/IP协议之上的一个P2P文件协议，BitTorrent用户将各种数据下载至本地存储，就能与其他用户共享数据的“种子”。作为一个非中心化的数据传输协议，BitTorrent协议上任何人均可将资源上传至网络，并且允许任何人在网络上下载数据，下载的人数与数据下载的速率成正相关。也由于其便捷性，BitTorrent很快成为全球用户最受欢迎的工具，其最高峰时期带宽一度占据了全网数据上下行的5成以上。

超额的自由将无节制放大人性之丑恶。BitTorrent上很快充满了无数盗版、色情、暴力等等违法数据，让全世界的政府管理部门大为光火。2010年，世界上最大的BT网站瑞典海盗湾因侵犯知识产权等法律压力而不得不被迫关闭，其创始人也最终被关进监狱。2014年，一直高呼技术无罪的快播也不得不停播，创始人陷于囹圄。BitTorrent的发展似乎遇到了至暗时刻——极盛转衰，技术的发展也似乎迎来了全球性的低谷。正在此期间，中本聪的《比特币：一种点对点的现金系统》为P2P技术的发展道出了另一个方向，IPFS分布式存储技术即将与区块链结合并迎来的新的发展高光时刻。

SC:区块链分布式存储先行者

回望过去这些年，以较早结合区块链技术、进军分布式存储的是Sia云存储项目。Sia的概念最初诞生于2013年HackMIT黑客马拉松，其于2015年5月开始正式启动，母公司为Nebulous——Sia拥有四位核心开发人员、一位社区管理员和一位运营管理员，创始人是David Vorick。

简单了解下Sia云存储项目——它是经由加密技术、智能合约技术和冗余技术等来确保使用者能够在不利用任何其他第三方存储服务提供商的前提下，仍旧能够安全、高效并且廉价地使用区块链云存储服务。Sia同样采用类似BTC的POW共识机制，其最终目的是集中散落在全球的各种闲置存储资源，为需要重视个人隐私的存储用户提供最合适的综合性解决方案。Sia诞生后融资两轮，共计获得200+万美元，前期投资方有分布式资本和币圈李笑来等。

使得Sia发展愈发艰难的是其上层经济模型。Sia的代币SC的总供应量没有限制，所有的SC都需要通过挖矿才能获取，第一个区块的奖励是300000 SC。此后，每个区块的奖励将逐步减少，直至2023年1月每个区块的奖励变为30000SC。不难看出，SC与BTC不同，SC是典型的通胀型数字货币。截至2020年上半年，链上共计产出了450亿枚SC，此后每年将稳定产出约15.7亿枚SC且并无上限。

除开Sia这一首个分布式存储项目之外，运用区块链技术的分布式存储标的还有基于ETH之上的Storj、甲骨文BLZ乃至于后来的BURST等均为受众所认可，但均未被大规模传播。

IPFS/Filecoin:分布式存储明日之星

在2014年5月，墨西哥计算机科学家胡安·贝尼特和几位斯坦福大学同窗一手创办了计算机网络研发公司Protocol Labs（协议实验室的原型），协议实验室建立之初，随即就加入了美国硅谷的顶级孵化器YC。紧接着，协议实验室的第一款产品就是IPFS——“Inter Planetary File System（星际文件系统）”，IPFS也即一种内容可寻址、版本化、点对点超媒体的分布式存储及传输协议，它旨在从本质上改变数据在全世界范围内的分发方式。

但因为IPFS只是一个拥有远大愿景的传输协议，仅仅是一个协议，Protocol Labs认为非常有必要在网络中加入区块链激励模型，从而鼓励节点的存储及分发，这时Filecoin便顺势诞生了。2017年8月Filecoin在60分钟时间完成了2.57亿美金的募集，这也创下了当时全世界范围内区块链早期项目的融资记录，融资额已经远远超越号称百万TPS的全球明星项目EOS，并且该次融资仅仅出售了10%的项目TOKEN，这意味着在IPFS还未正式上线时，其市值就已经达到了25.7亿美金。

很明显，IPFS协议的最大特征就是基于内容寻址(QM开头的哈希值)以替代传统互联网基于HTTP的域名寻址。基于内容寻址意味着，即使用数据本身的加密哈希值来识别查找到对应的文件碎片，最终还是能够实现在本地拼成一个完整文件，且其并行的速度远远快于于当前的信息传输方式；文件以碎片形式得以存储，消除了网络上的冗余和堆叠，极大程度上节约存储资源并降低了存储成本；同时文件碎片备份，保证即使个别些节点遭遇攻击或是源数据丢失，也能够从其他节点中找到文件，保证其数据的安全性。 

目前，距离IPFS协议2014年8月份上线时已经过6年时间，从彼时起，已有无数技术先驱围绕IPFS搭建了丰富的开源生态，截至2020年9月，IPFS全球数据节点已接近1000000个，并包含社交平台、内容媒介、管理工具、搜索及数据传输等项目，虽然对传统互联网而言这不算什么甚至不值一提，但其带来的巨大变革意义不言自明。伴随着IPFS的激励层Filecoin主网在10月15日如期上线，IPFS已经逐渐结合Filecoin形成一个更加高效并且极度安全的网络，未来将重点放在升级传统互联网、建立大数据文明时代的新基建等重大基础设施，我们拭目以待！

深圳市南山区区块链应用协会

深圳市南山区区块链应用协会（SZNABA) 是依法在深圳市南山区民政局注册并成立于2018 年 10 月，在深圳市南山区工商业联合会作为业务指导单位指导下成立的非营利性社会组织。

本协会以代表本行业企业的利益，维护行业合法权益为宗旨，反映会员企业诉求，协调会员之间的关系，规范会员行为，维护公平竞争与市场秩序，联系政府，为行业、会员、政府提供服务，促进行业的健康发展。协会基于深圳市南山区，以全球产业为目标，利用区块链技术整合业内资源，结合国内外先进行业技术，促进深圳市高科技技术的创新及区块链产业发展，提升深圳市区块链行业整体技术和应用水平。