当软件定义存储（SDS）遇见区块链（BlockChain）

Posted 2021-04-29 乐生活与爱IT

【编者Peter Ye按】

再开始正文之前，先分享我最近思考得出的一段话：

 

互联网解决了信息随时分享，移动互联网解决了信息随地分享，物联网解决了信息随物分享，而构建在三者基础之上的区块链解决了数字价值的随时随地随物地转移。

 

 

---Begin---

 

天下大势，合久必分，分久必合。

 

1943年，IBM的托马斯.J.沃森曾经说过：“我认为也许5台计算机就能满足全世界的需要”。进入21世纪第2个十年，有人说，“也许5朵云就能满足全世界的需要”。这里5朵云，分别指的是AWS、Azure、Google、阿里云、IBM。华为在2017年成立了云BU，也计划打造成为全球五朵云之一。

 

 

 

真的是这样的吗？ 虽然我们确实看到公有云的市场份额在现阶段不断地攀升。但是，也看到它带来的一些问题，包括安全、成本、性能、效率等方面。

 

• 安全

举个例子，当我们享受这些互联网巨头给我们带来的便利的时候，不知不觉中，我们也会惊讶地发现，我们的隐私很有可能遭到泄漏。以2018-03-31的文章《脸书、谷歌到底能获取多少用户信息？真相让很多人吓尿了》为例，这些互联网巨头可以轻而易举地获取你个人的如下信息：

你在哪儿、你搜了什么、你看了什么视频、你用什么APP、你的照片、你的云盘、你的日历、你发的邮件，你的步数，你听的音乐、你聊什么、你发过什么……

 

正因如此，互联网巨头才能为你进行用户画像，给出能够比较精确匹配的商品推荐，并基于大量的个体信息，进行大数据分析，甚至在你不知不觉的情况下，深刻地影响你的判断、选择和行为。

 

最近两个月闹得沸沸扬扬的FaceBook事件，就是一个例子。高达5000 万的Facebook用户数据被Cambridge Analytica 数据分析公司非法获取，并用于操纵美国总统竞选。

 

 

如上图所示，2018年4月10日、4月11日，美国参议院商务、科学与交通委员会和参议院司法委员会针对Facebook 扎克伯格举行了一场联合听证。

 

• 成本

 

以AWS为例，500TB以上／月时，每GB0.021美元，如果用户存放1PB的数据量，10年大约需要花费264万美元。这种中心化运营的模式，公有云存储提供商必不可免的需要在数据中心的部署、管理运维，以及人力上耗费大量成本。

 

 

• 性能和效率

随着物联网（IoT）和边缘计算（一种在物理上靠近数据生成的位置处理数据的方法）的兴起，有些场景必须在终端附近快速的进行存放和处理。

 

过去十多年里，企业IT总体的发展趋势，是从分走向合，原有的IT巨头纷纷被公有云计算的服务提供商冲击。接下来，这个趋势仍然会持续，但从合走向分的暗流开始涌动。当数以千亿级的设备所组建的物联网开始普及时，从合走向分将更为凸显。

当然，也许未来的情形更可能是你（云计算）中有我（边缘计算），我中有你的融合发展。

 

如何在公有云基础上，使得安全和成本，能够进一步取得突破？ 现在看来，软件定义存储与区块链的结合是一个不错的选择。

 

我们先来看一下，什么是软件定义存储？

软件定义的存储（SDS）是一个不断进化的概念，在现阶段看来，是指存储资源由软件自动控制，通过抽象、池化和自动化，将标准服务器内置存储、直连存储，外置存储，或云存储等存储资源整合起来，实现应用感知，或者基于策略驱动的部署、变更和管理，最终达到存储即服务的目标。

总结成一句话就是存储即服务。

 

再来看一下，什么是区块链？

区块链（BlockChain）本质上是一个分布式的账本，也是去中心化的数据库。大名鼎鼎的比特币的底层技术就是区块链。

 

区块链并不是一种新的技术，是新的技术组合，它非常巧妙地将若干种技术结合起来，包括分布式数据存储、点对点传输、共识机制、加密算法、智能合约等。其中，共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法；智能合约是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易，这些交易可追踪且不可逆转。

 

如下列出了区块链的六大优势：1、提升透明度；2、精确追踪；3、长期保存；4、降低成本；5、提升效率；6；不可篡改。

 

两者之间有什么共同点吗？

首先，软件定义存储分成控制平面和数据平面。控制平面决定数据的调度和流向，能否实现存储即服务，就是在控制平面层决定的。

 

数据平面决定数据的处理和优化。众所周知，在数据平面这一层，分布式存储（包括Server SAN、HCI、分布式文件存储、分布式对象存储）在市场份额上不断地迅猛增长，逐渐侵蚀集中存储的份额。根据Wikibon的预估，大约在2021年前，企业级存储的市场份额中，分布式存储将超越集中存储。

 

       分布式就是软件定义存储和区块链的共同特点之一。分布式能够避免了中心节点带来的安全隐患、性能瓶颈和扩展局限。

       自动化是第二个共同特点，软件定义存储的终极目标是实现存储即服务，自动化是其最高阶段的任务。在区块链里，自动化的体现就是智能合约，它将极大地缩短时间，提高效率，降低交易的成本。

 

       下面我们来分析一下软件定义存储如何与区块链结合，以及两者结合带来的优势。

 

现有的主流的云存储，都是中心化运营的，做为用户，很难确保自己上传的数据等安全性，尤其是可能包含隐私信息的资料、照片、视频。是当你使用免费或者超低成本的云盘空间时，更是如此。因为，天下没有免费的午餐，云存储的运营商需要投入巨大的成本来提供存储空间和运营，这里面包含了数据中心的建设、运营、人员的成本等等。大多数云存储提供商都是依托于互联网巨头的，这些互联网巨头不可能永远免费或者亏损的形式提供存储服务。用户上传到云存储上的数据，很可能被用于其人工智能、大数据分析的原始素材。

 

用户的数据并非绝对不可使用，但应该由用户自主决定，并且如果被使用，用户应该有机会获得收益。

 

区块链的诞生，为软件定义存储的发展开辟了新的道路。

首先，存储的池化可以在更广阔的空间，以更丰富的形态来实现。其次，区块链的Token激励机制，可以驱动大家将企业级存储、服务器、PC、移动存储等的剩余存储空间贡献出来。用户数据以分布式地方式存放到不同节点上，每个节点实际存放的数据只是数据的一些切片，而且这些切片还以加密的方式保存起来。这样，数据能够更安全地保护起来，即使提供存储节点的用户有机会查看这些切片，看到的也是没有实际意义的数据段。

再次，区块链的DAO（DistributedAnonymous Organization，分布式自治组织）这种分布式商业模式，有机会借助全球的资源和人才，类似众人拾柴火焰高一样，加速产品和商业模式地发展。

最后，如果区块链的基础设施，以及之上等应用（DApp，DistributedApp）逐步完善之后，用户存放的不只是数字信息，而是可以进行价值交换的数字资产。举个例子，我撰写的《软件定义存储：原理、实践与生态》大约是在2016年7月上市销售其纸质书的。然而，时隔一个多月，我就在某个网站上看到全文电子版，令我气愤不已。但是，由于你无法找到始作俑者，很难进行维权。然而，区块链可以帮助我们在互联网上进行数字资产的确权，在这个基础之上就可以进行数字资产的转移，附带实现价值的交换。由于区块链还具备不可篡改，精确追踪等特点，使得版权保护更容易实现。

 

实际上，在全球范围内，已经有好几个软件定义存储结合区块链（后面简称为区块链存储）的项目，正在如火如荼地展开。列出一些，并重点介绍其中几个。

1、IPFS/Filecoin 

2、StorJ 

3、Sia 

4、Maidsafe 

5、Bluzelle 

6、Decent 

7、Archain 

 

一、IPFS（星际文件系统）

       IPFS（Inter Planetary File System）是一个面向全球的、点对点的分布式版本文件系统，它的发明者胡安·贝尼特（Juan Benet）是一位墨西哥移民，毕业于斯坦福大学的计算机科学专业。他之前创立的一家公司在 2013 年被雅虎收购 ，随后他在今年的 Y Combinator 项目中成立了 Protocol Labs，这家公司现在的工作是推进IPFS 项目，它的目标是取代我们在过去 20 年已经习以为常的互联网协议-HTTP。

 

把IPFS列在第一位，是因为它的影响力最大，被更多的人看好。IPFS被誉为下一代网络协议，以分布式的方式，来取代越来越中心化的HTTP。IPFS发行的数字货币Filecoin，在2017年8月21日进行ICO，短短的1个小时，就筹集了超过2亿美元的资金。

 

 使用HTTP时，我们查找的是位置，而使用IPFS时，我们查找的是内容。IPFS的做法是不再关心中心服务器的位置，也不考虑文件的名字和路径，只关注文件中可能出现的内容。例如123.txt放到IPFS节点，它会得到一个名字

QmXGTaGWTT1uUtfSb2sBAvArMEVLK4rQEcQg5bv7wwdzwU

这是一个由文件内容计算出的加密哈希值。哈希值直接反映文件的内容，哪怕只修改一个比特，哈希值也会完全不同。

在国内，网名为搬山工的朋友曾经分享过IPFS 视频在线播放器（http://www.ipfs.guide/ ）。可以在线播放存储在 IPFS 网络的视频文件，只需要填写文件的 IPFS hash 值即可。例如：

 

1、银翼杀手：

QmcUHdzKgRrcJrD5Ah46HgBHF7urWDhmAnLKYwcHaLgeGP

 

2、盗梦空间：

QmQATmpxXvSiQgt9c9idz9k3S3gQnh7wYj4DbdMQ9VGyLh

 

实际上，围绕着IPFS，已经有了越来越多的应用。下面列出其中的一部分：

 

akasha：  基于以太坊和IPFS的社交网络

Alexandria：去中心化的内容发布平台

Arbore：朋友之间的文件共享系统--相信很快就可以抛弃某度的云盘了

dtube：利用IPFS作为存储的视频分享网站

git-ipfs-rehost：可以把github上的项目存储到IPFS上

Interplanetary Wiki：建立在IPFS上的wiki（土耳其封锁了wiki，借助于IPFS，现在已经恢复了访问）

ipfs-search：基于IFPS的搜索引擎

ipfs-share：基于IFPS的文件分享

ipfs.pics：基于IFPS的图片分享网站

Orbit：基于IFPS的分布式聊天工具

Partyshare：一个简单的文件共享系统

computes.io：基于IPFS的分布式计算机（这个牛，把世界上的计算资源收集起来，构建一个巨大的分布式计算机）

OpenBazaar：openbazaar是一个去中心化的淘宝，口号是“买卖自由/Buy and Sell Freely”，问题是一旦用户停止运行软件，商店就下线了，借助于IPFS，openbazaar2.0 打造一个离线商店。

Ubuntu：著名的linux发行版本Ubuntu正在计算把发行版本转移到IPFS上来，目前正在讨论方案。

 

令人惊讶的是，IPFS主链还没有上线，但全球已经有很多人开始摩拳擦掌，准备进行挖矿了。笔者最近听到的一个消息是，从2017年年底到2018年3月份，因为全球挖存储币，导致大容量硬盘（例如8TB以上）的价格上涨了20%以上，真是令人瞠目结舌。

 

二、StorJ

       要快速了解StorJ，可以打开如下腾讯视频。

       Storj起源于一次比赛。2014年4月，开源、去中心化存储平台Storj，赢得德克萨斯州比特币会议的黑客马拉松奖，获得了BitAngles基金250 000美元投资。

2017年2月， Storj获得300万美元种子轮融资，投资方包括风险投资公司谷歌风投、美国高通风投以及Techstars的个人投资者。 

截止2018年3月，Storj在200个国家拥有9万个节点，每个月有6.9万注册用户，超过2.4亿笔交易。

 

Storj曾制作了一张图，比较了像Storj这样的去中心化存储系统的成本与像Dropbox这样的传统中心化存储系统的成本。结果令人惊愕。Storj声称在自动网络上购买和出售硬盘空间将会极大地降低云计算的成本，去中心化存储成本只有中心化存储的1/100~1/10。

100G存储空间每月费用对比

 

不过，由于Storj仍然处于不断完善之中，笔者最近了解到的情况是，它的单位GB价格目前只比AWS S3便宜30%左右。

其实，最令我感兴趣的是，开源软件公司Docker的首席执行官BenGolub在2018年3月12日加入Storj，担任执行主席、临时首席执行官。这或许代表着IT技术的下一个风向。

笔者从YouTube上下载了4月5日Ben Golub在Palo Alto参加CUBEConversation的访谈（23分钟，英文），以飨读者。欢迎打开如下腾讯视频观看。

在这次访谈中， Ben Golub拿Airbnb这种共享租房的方式，来比喻StorJ共享租盘。

Airbnb是全球最大的租房公司，但自己却没有拥有任何一间酒店房间。StorJ没有自己实际拥有的存储空间，但立志要颠覆DropBox。或许，在区块链和共享经济时代，新的巨头将以全新的方式和面貌出现。

---未完待续---

 

资料来源：

 

http://www.8btc.com/http-ipfs

IPFS是什么？为什么说它将取代HTTP？

 

http://www.ipfs.guide/

 

互联网需尽快推行 IPFS 协议

http://techcrunch.cn/2015/10/10/why-the-internet-needs-ipfs-before-its-too-late/

 

IPFS：世界正在悄然发生变化

https://blog.csdn.net/yuanfangyuan_block/article/details/79588641

 

 

Storj VS. Dropbox：为什么去中心化存储是未来

http://www.8btc.com/storj-vs-dropbox-why-decentralized-storage-is-the-future

 

前DockerCEO加入Storj

http://baijiahao.baidu.com/s?id=1594769864878220807&wfr=spider&for=pc

 

---End---

---

关注后，可以通过点击左下角的“文章目录”，通过输入三位数（记住！是三位数，目前第一位是0或者1）详细了解如何查看历史文章。

对软件定义存储与区块链感兴趣的朋友，可以扫描如下二维码，或者添加如下管理员：

xiaoganggang10101

eric0424

liushuan2008

sdg8848

dts0103

加入到微信群“当SDS遇见BlockChain"。

笔者在区块链方面也开始起步，希望大家一起学习和讨论。

点击左下角“阅读原文”，可以跳转到5月9日14:00在北京上地-中关村创业大厦举办的SDS和BlockChain相关的讲座。