对分布式存储的未来展望

Posted 2021-04-02 树哥解读

树哥：对分布式存储未来的展望.mp3 From 树哥解读 00:00 18:57

大家好，我是树哥，区块链行业的小学生。我同时也是《区块链进化史》这本书的作者，这本书获得了工信部原总工朱宏任老总的亲自写序，因为把区块链的发展历史，各种隐秘事件写的比较生动，是学习区块链的比较好的教材。已经有书的朋友可以加入读书会，进行继续学习。

 

这次很荣幸受邀在你们的社群进行分享观点和看法，如果有错误或者不赞同的地方，也请大家海涵。

 

分布式存储这个方向，我个人是非常赞同的。因为我有切身的体会。

 

一、存储分散化是无奈之举

若干年前，我曾经帮助过当地，做过平安城市的项目。

 

啥是平安城市？其实最主要的一块工作，就是把街道上，银行里，各个小区的摄像头都接入管理平台。这个项目运行了一年多的时候，问题就来了，和我对接的工作人找我要解决方案：接的摄像头越来越多，新买的摄像头越来越高清，数据量就越来越大。所以平台的中心机房的存储设备就越来越多，设备越多花的钱就越多，连他们都有点不堪重负。问题的关键是在哪？关键是存了很多的数据是无用的数据，例如啊，半夜上街道的数据。但是接数据还是不能删，因为你指不定发生了交通意外啊，发生什么案件你需要调取看他的数据。直到现在啊，这个问题还是搞不定。没啥很好的办法。

 

其实这个问题是非常普遍的问题，别说全国各地，凡是做视频监控的都有这样的问题。其他类的数据也是一样的，数据都是越来越多的，但是又不能随便的删。

 

也就代表这个数据积累的量是非常可怕的。所以我们说这两年产生的数据是过去2000年产生的数据量。据IDC测算，到2025年，全球的数据总量达到175zb。如果都换成8T硬盘的话，可以从地球一直垒到月球。

 

 

但是，问题是不光是有这么多高清的摄像头，现在还在讲什么万物互联。也就是说所有的硬件设备都要连在一起，都要产生巨大的数据量。举个简单的例子吧，一个高速行驶的自动驾驶汽车，它会产生多少数据？就以特斯拉为例，他全身有8个以上的高清摄像头，12个超声波传感器，若干个雷达，这才是一辆车。那么自动驾驶普及之后，满大街的车都需要产生这么海量的数据。所以之后一定是海量的数据。

 

所有的这些数据都放在中心机房存储，是完全不可想象的。也是做不到的，没有办法，只能把这些数据分散存储。

 

其实这个类似的故事，已经发生过很多遍了。

 

就以我们视频内容来说吧。很多年前，有能力做视频节目内容的单位很少。这些视频节目内容放在哪里了？放在中央电视台了。在一开始中央电视台的时间段也都用不满。

 

后来呢，视频节目内容越来越多了，怎么办？那就分成不同的品类，搞个中央一套，中央二套，中央三套。那在后来呢，视频节目内容更加多了。中央电视台有多少套也放不下怎么办？

那个地方电视台也都可以接受各种各样的视频节目啊。

 

那到了现在，每个人都可以输出视频节目内容，即使是各地方电视台，他也如放不下如此众多的内容，这怎么办？就出现了众多的自媒体平台。就像树哥解读，也是一个分散化的小的自媒体平台。

 

这个演变的过程，和我们数据存储的软件过程是一模一样的。数据量太大了，放到中心越来越放不下了，只能分散来存。

 

所以我们说，分布式存储不是研究出来的，而是市场环境所迫。没有办法的事情，只能走这一条道路。

 

而且因为数据产生的源头就在于十字路口啊马路上，类似这些场景。当数据只保存在场景本地，不往中心传输和存储的时候，也会节省大量的带宽和时间。这有点像啥？你当地产的粮食你又保存在当地的粮库就好，别都拉到北京。省得导致我们的马路拥堵。

 

二、数据不仅要分散，还需要全网流动

数据保存在用户本地问题就解决了吗？其实只解决了一半，节省了网上传数据的带宽而已。在大数据时代，这些数据和数据是需要发生关系的呀，山东马路上跑的车，是有可能突然需要调取天津某个配件的信息？这需要怎么解决呢？这就需要你全网是同一套的数据管理系统。要不大家都不通啊。

 

但当前网络技术的底层不支持啊，因为当前的数据存储方式是以服务器文件为单位，也就是说一个服务器就是一个小山头，服务器和服务器之间是不通的。也就是说一个服务器如果没有经过另一台服务器容许休想拿人家的文件。这个服务器就有点像你的家庭，里面的文件就是你的财产，别人怎么可能没有你的容许来你家里面随便拿东西？你当然不干了。在这个时候，有人提出个好的想法，说让所有的资产都可以在所有的家庭自由流动吧，按需取货吧？这肯定不可能吧。

 

那么要想解决这个问题，只有提出新的方案。IPFS就是全新的分布式存储的一个协议，它最大的特点就是全网的文件已经不再依据服务器上的文件划分了，它把服务器都干掉了，全网就一个文件，谁都可以认识和支持。也就是说，既然原有的家庭为单位的资产不能随意流动，那么新的模式就没有家庭的概念，所有的资产属于大家公有，那么这些资产就可以在整个网络中不同人之间自由流动了。

 

这有点像啥呀？原来一个城市只有一个大超市，大家买东西都要去这个大超市。结果这个大超市太拥堵了，人流量太大了。那么有些人看到机会就在自己的社区旁边开一些小超市。这样子大家买东西确实方便一些。但是发现另外的一个问题，这个小超市没货，去别的小超市去调，那太难了，因为一则没有别家超市的数据，二则资产属于不同的超市。这个时候就出来一个新的模式：7-11超市，它分布式在全国的不同社区，整个体系用着同样的一套信息管理系统，这样就可以实现货物在不同的超市之间进行调配。

 

整个逻辑很好理解，数据量太大了，不能都放在中心存储，必须分散保存在产生数据的用户端。但是，不光是把数据分开保存就可以，还必须把所有的数据的在全网都打通，才能实现数据在不同区域的流动。这就是分布式存储产生的原因。

 

 

三、数据全网流动将挑战当前互联网巨头

你可别小看，这个数据在不同区域流动着小小特点。它是有可能颠覆当前互联网的格局。

 

因为当前互联网的格局就是，谁拥有的服务器多，谁有拥有的数据多，谁就拥有的财富多。你可以简单理解，这些互联网巨头都是有无数资产的老地主，伴随着时间的发展，他们的资产还越来越多。他们要钱有钱，要人有人，兵多将广，资源丰富。其实已经形成了事实上的，流量垄断，平台垄断，资源垄断。他们的触角还在不断的延伸，干掉了实体的门店不说，又在盘剥小餐馆，竟然把触角延伸到了老百姓的菜篮子。连国家都看不下去了，所以要推行反垄断法。

而新的创业者根本没有办法挑战他们，因为资产都是在他的手里啊，最好的结果就是被他们收购。

 

但是在这种新的分布式存储的模式下，没有这种地主存在啦。所有的资产属于网络，任何一个人都可以使用这样网络的资产，相当于一个人可以直接调集全世界的网络资源来干自己的事儿，原来头疼的资产问题不再是资产问题啦。

 

举个最简单的例子， IPFS是全球的一个分布式存储网络系统，所以他的文件名是全球都公认，也就是说你在家可以调取全球任何一个地方的数据，而不用管这个数据是在非洲还是在欧洲，还是在大洋洲。你同样的也可以把数据直接保存在全世界的任何地方，不用管它是在海底还是在山底。

 

也就是说，你在Ipfs网络上建立的任何一个应用，一建立它就是一个全球化的应用，你不需要像传统的模式那样，欧洲有用户，你还要在欧洲建服务器，非洲有用户，你还要在非洲建服务器。全世界的任何用户都可以直接使用它，不管他是欧洲还是非洲。你虽然是两三个人的小公司，你一开始做的就是全球化的公司啊。

 

有些人可能会说，这个事听起来怎么不可思议呢？你还别不可思议。你想想广告的行业就明白了。原来你在中央电视台打一条广告没有几千万，怎么能下得来啊？你要在地方电视台打广告，你是不是要一个台一个台去谈呀？现在呢？只要你有好的策划和创意，一下子的抖音火了。可能就几个亿的用户都能看到，效果甚至比中央电视台的广告还要好。你看看你花多少钱？只要策划创意好，只要火爆了，你甚至不用花钱啊。

 

这道理不就都一样吗，那这种自媒体平台不就是重新搭建了一个宣传平台吗？这上面的信息可以在所有的节点自由流动啊，它产生的效益有多大大家也都看得到。一个抖音带货的大牛，一天能卖几千万甚至上亿元的产品。有多少上市公司能做到？

 

抖音平台带货这个事儿，无论多么不可思议，大家都看到的。分布式存储平台的这个事儿，趋势就是这么个趋势，无非看大家是在事情看到呢，还是事后看到呢？

 

 

当然了，现在市面上有很多不同的声音，还有很多唱衰的声音。我个人认为这是很正常的。你要革人家命，你还不容许人家发的继续牢骚吗？

 

互联网电商刚出来的时候，请问有几个人看好啊？我的一些女性朋友曾经信誓旦旦的说，我这辈子一定不会在网上买衣服买鞋子，我怎么可能在没有看到它的材质没有试穿的情况下花钱呢？但是你现在看啊，他们现在剁手剁的可太狠了，就算她是千手观音也都把手得剁干净了。这是趋势的问题，谁都挡不住啊。想挡趋势的人，最终结果都是被趋势碾压得渣都不剩。

 

有人也会在说，听说当前只能存储一些冷数据，听说技术还不成熟。这句话说的有一定的道理，所有的技术都是一个渐进发展的过程。

大家看一下火车产生的一个过程，火车第1次试跑的时候有个新闻稿。这个稿件用调侃的语气说，那个叫做火车的怪物，跑的竟然比牛车还慢，烧了很多的煤跑了10米之后竟然趴窝再也跑不动了，如果把那些没换成草料的话，可以喂养十几头牛一个月。它吐着黑烟，污染着我们生存的环境。更让人烦恼的事，他的一声大叫，竟然让我们好几只怀孕的母牛和母猪都流了产。我们看不出这样劳民，伤财，花费好几年时间造出的怪物有什么意义？ 这篇报道出来之后，凡是支持火车的人都被别人骂了个狗血喷头。我们现在的人多幸福呀，直接坐上了高铁，速度又快又稳。但是你不能说，我只要现在的高铁，火车在刚发明之初，所经历的种种的磨难我不想要，这是不可能的呀。就像你走到了山顶，你不能抛弃山脚下的任何一节台阶一样。

 

我想说明的是，分布式存储是巨大的机会，虽然他还有一些诸多的问题，但这些小问题都不能掩盖他的大趋势。所有一个新机会出现的时候都是破衣烂衫的，都是不为大家看好的。当越来越多的人知道他的时候，往往是产生争议最大的。而当所有人都赞美他的时候，其实他已经是衰败的开始了。要是你选择的话，你会选择在什么时间段站在他的旁边？

 

我再稍微总结一下。分布式存储最大的魅力在于，他把全球都打造成了一个网络，所以它可以让任何一家公司，一开始就是个全球化的公司，只要这家公司的应用有创意，他就可能迅速的拥有全球的用户支持，成为一家世界级的公司。我举一个简单的案例，假设你只花一份钱，把自己做的一个视频上传到了网络之上。结果这个视频就火爆了全球网络。欧洲有非常多的用户都想看这个视频，当欧洲的存储服务商就会主动备份这个软件，因为他们可以多赚点检索费用。相当于你的这个视频数据自动会在全球网络上流动。