今天聊的分布式存储,有点不一样

Posted 大数网

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了今天聊的分布式存储,有点不一样相关的知识,希望对你有一定的参考价值。


分布式存储要变天?这是我采访过星河华讯联合创始人、技术总监Edison后,脑子里冒出的一个想法。

 

过去,我认为的分布式存储就是百度百科里解释的,将数据分散存储在多台独立的设备中;就是阿里云、腾讯云……的分布式存储产品。而现在,我对分布式存储有了新的认识,BT、电驴的理念同样可以应用在企业端,且优势十分明显,其中的典型代表如IPFS。


 

IPFS正在经历怎样的发展阶段,它的优势是什么,短板又是什么,前景会如何?借着星河华讯和新华三共同合作采访的契机,本文来聊聊IPFS存储的那些事。


 

IPFS强在哪?

 


说实话,之前我也听说过IPFS,只是没有仔细研究过,毕竟大的巨头没人谈论它,只有少数几个厂商在推广。不过这次深入了解之后,我真的替传统区块链的分布式存储方式捏把汗,因为IPFS优势太过突出。

 

我将IPFS的特质总结为三个方面:

 

一、去中心化。

 

可能有人会说云服务商的分布式存储也是去中心化的,数据存储在不同的数据中心。但你有没有想过,数据其实是存在一个云服务商的数据中心内,本质上还是中心化的。

 

IPFS强调的去中心化,是可以将数据存储在全球任何一个网络的存储空间中,就像BT、电驴,每个节点都是数据源,任何人都可以租用。

 

二、性价比。

 

数据大爆炸已是不争的事实,从数据中挖掘价值一定是会核算成本的,IPFS较传统分布式存储的存储成本更低。

 

据测算,AWS S3每月每TB收费25美元,但IPFS基本可以做到2美元左右。

 

三、安全性。

 

传统分布式存储安全系数低,一旦受到攻击,大量数据短时间无法恢复,而且由于数据中心节点少,可能导致延迟高、网络不稳定等问题,这也是为什么各大云服务商都必须投大量资本建数据中心、优化网络。

 

IPFS则不存在这些问题,数据先加密再分割存在多个节点中,只有拥有私钥的人才能重组所有部分查看完整数据,节点多,即便出现问题恢复也快。

 

所以,你明白为什么我替传统分布式存储紧张了吧?IPFS在多个维度都完胜。那既然如此,那为什么IPFS的发展算不上快呢?要知道IPFS从诞生到现在,已经有6年发展时间?这其中的根本原因是什么?

 

我们不妨以星河华讯的实际情况来分析一下。


 

短板是什么?

 


星河华讯是一家致力于提供 IPFS存储服务的区块链企业,其目标是推进IPFS在中国的发展,在这个过程中通过构建IPFS&Filecoin生态,推广完善IPFS协议。


今天聊的分布式存储,有点不一样

 

星河华讯目前重点关注的是高可用、超稳定、可扩展的超算集群,以及系统的自动运维。未来会继续致力于在IPFS数据中心搭建针对B端用户的全套存储方案,包括自动化运维工具、不同配置机器的最优配比方案、监控日志等。

 

说到发展IPFS遇到的最大瓶颈,Edison坦言,上下游生态不完善,同时由于少有巨头参与,也导致生态建设缓慢。正是因为这一原因,星河华讯此前还因设备可靠性问题受到处罚。

 

处罚?怎么回事?

 

这里扩展延伸一下IPFS的共识机制,可能有的朋友在阅读前文的时候就有疑问,把数据存在那么多节点中,可靠性安全性究竟该如何保证?云服务商靠的是技术和信誉,IPFS靠什么?很简单,靠机制。

 

按Edison的话说,要成为链上的节点,为用户提供IPFS存储服务,需要把一部分资金作为服务的抵押,当你提供的服务出现问题时,链上会自动罚抵押的标的物。

 

所以,作为IPFS存储服务商,星河华讯需要强劲稳定的硬件平台作为支撑。这就需要从星河华讯与新华三的这次牵手说起。


 

为什么选择新华三?

 


为了解决底层硬件的问题,星河华讯其实找过不少厂商,对比过不少产品,但最终选择了新华三服务器+存储的整套解决方案。为什么会选择新华三?在我看来这其中有两个核心要素。

 

一、产品维度满足要求。新华三产品的可靠性、扩展性、品控在业内首屈一指,这满足了IPFS存储对硬件设备的硬要求。基于此,就像Edison所说,虽然新华三的采购价格比同类产品略高,但星河华讯还是坚持选择新华三,因为罚没成本、扩展成本,以及不可控因素造成的影响同样非常大。

 

二、双方有共同愿景。新华三有着较强的技术探索欲,在星河华讯描述了一个完整的业务场景之后,愿意针对这个应用场景来满足需求,助力星河华讯深入探寻业务场景。有了新华三的助力,星河华讯推动市场发展的进程会显著提速。

 

Edison对此表示认可。他说,IPFS发展已经有5、6年的历史了,但IPFS存储项目今年10月份才上线,到现在满打满算也才两个月时间,星河华讯也是在摸索当中。未来,在IPFS领域,无论是硬件还是软件,无论是计算还是存储,星河华讯都希望能推出标准化的IPFS应用场景,而这离不开像新华三这样巨头的支持。


 

应用新华三X10000分布式融合存储后,星河华讯IPFS存储带宽性能提升至原系统4-5倍,系统运行一个多月,运营状况健康稳定。这也为双方接下来的合作奠定了基础。

 

这下,IPFS存储要提速,分布式存储市场可能真的要变天了。


 

后记:期待新时代

 

IPFS是新兴区块链底层存储协议,如果不是这次采访可能我认识它还得延后一段时间。而了解过IPFS后,我很兴奋,想必有很多人和我持同样观点,它的理念并不新,20年前就有了,但用在企业级市场,恐怕很多人都没想过。

 

毕竟置于企业级市场,IPFS太非主流了。这注定IPFS不会一蹴而就,一定是有一个比较长的发展过程,在这个过程中不断完善上下游生态,不断完善机制,直到越来越多用户接受。

 

所幸的是,IPFS赶上了好的时间窗口,国家有政策,区块链已纳入“新基建”热点建设范畴;云计算的概念已深入人心;再加上新华三这样巨头的及早助力,这些都将帮助缩短市场培育期。因此可以预见的是用不了多久,IPFS将拥有更高的普及度。而我也认为IPFS应该有更高的普及度。期待真正分布式存储时代的到来。


以上是关于今天聊的分布式存储,有点不一样的主要内容,如果未能解决你的问题,请参考以下文章

PulsarZooKeeperBookKeeper 作用简述

03 今天我不知道的事情 HBase

分布式存储的老大要从Filecon变成Crust了?1个挖矿2年回本,一个只要3个月?

IPFS分布式存储的大机会FIL币不单单是是1种虚拟货币

实例讲解vsan分布式架构虚拟磁盘文件丢失的解决方法

分布式存储赛道八位选手,你梭哈了谁?