区块链与分布式存储构建数据要素市场基础设施|荷月参加数字中国分布式存储高峰论坛

Posted 2021-04-02 荷月科技

9 月 23 日，《新基建数字经济高峰论坛》在苏州顺利落幕，峰会主题主要讨论了分布式存储技术的发展与应用，荷月科技联合创始人、解决方案总监廖逸发表主题演讲：《区块链与分布式存储构建数据要素市场基础设施》，分享了区块链与分布式存储如何为数字要素市场搭建基础设施，让数据成为真正可确权，可交易的生产要素。

荷月科技联合创始人、解决方案总监廖逸发表主题演讲

以下为大家整理了演讲主要内容以及简短的技术介绍与科普，希望能够与大家一起探索分布式存储技术与区块链结合带来的变革与创新。

 什么是分布式存储（IPFS)？

分布式存储就像分布式应用一样有两种技术解释，一种是将数据分散存储在多台独立的设备上，总体上实现了技术架构上的分布式，但所属权仍然是集中式的，而在区块链应用领域则表示的是以 IPFS 为代表的新一代分布式存储技术，与传统的存储技术不同，新一代的分布式存储不光改变了存储的方式，还改变了系统架构与网络传输协议，让分布式存储真正实现了可以分布存储在不同所有方之间，同时还实现了对于数据的隐私保护与安全。

 那么什么是 IPFS? 

IPFS，全称 Inter Planetary File System，中文名为星际文件系统，IPFS 希望通过点对点传输网络构建一个完全分布式的互联网，类似于 BitTorrent，但是又有所发展和不同。在目前的互联中，如果你想从网上下载一张照片，你需要告诉电脑去哪里找这张照片，也就是照片所在的 IP 地址或域名——这就叫 " 地址寻址 "。但如果这个地址不存在了，也就是说服务器关闭了，你就无法获取那张照片了。不过很可能有人之前已经下载过那张照片，并且在他的电脑中仍然保存着备份，可你的电脑却无法从那个人那里获得该备份。为了解决这个问题，IPFS 把“地址寻址”改为“内容寻址”。这样一来，你不用再告诉电脑去哪里寻找资源，而只需告诉它你想要什么资源。从“地址寻址”到“内容寻址”是 IPFS 与现有存储技术与互联网协议最重要的区别。

除此之外，IPFS 也是一种复合的技术，其中比较重要的有4种：BitTorrent、DHT、Git 和 SFS。

（1）DHT，全称为分布式哈希表（Distributed  Hash  Table），是一种分布式存储方法。DHT的原理是在不需要服务器的情况下，每一个客户端存储一小部分数据，并负责一定区域的检索，进而实现整个DHT网络的寻址和检索。同时所有信息均以哈希表条目的形式加以存储在Kademlia 网络（点对点协议中的一种算法，当我们在网络中搜索某些值，即通常搜索存储文件散列或关键词的节点的时候，Kademlia算法需要知道与这些值相关的键，然后分步在网络中开始搜索。）这些信息被分散地存储在各个节点上，从而以全网构成一张巨大的分布式哈希表。可以形象地把这张哈希大表看成一本字典：只要知道了信息索引的key，便可以通过 Kademlia 协议来查询与其对应的 value 信息，而不管这个 value 信息究竟是存储在哪一个节点之上。正是这一特性确保了IPFS成为没有中心调度节点的分布式系统。

（2）BitTorrent, ipfs借鉴的首先是消极上传者的惩罚措施，在 BitTorrent 的客户端上传数据会奖励积分，而长期不上传的消极节点会被扣分，如果分数低于一定限度，那么网络会拒绝再为他们提供服务；其次是文件可用性检查，BitTorrent优先把稀缺的文件分享出去，各个客户端之间相互补充，这样种子不容易失效，传输效率也提高了。

（3）Git，在进行大文件传输或修改的时候总会遇到存储或传输压力大的问题，而Git在版本迭代方面非常出色。Git存储时会把文件拆成若干个部分，并计算各个部分的哈希值，利用这些构建起与文件对应的有向无环图（DAG），DAG的根节点也就是该文件的哈希值。这样的好处十分明显：如果需要修改文件，那么只需要修改少数图中节点即可；需要分享文件，等价于分享这个图；需要传输全部的文件，按照图中的哈希值下载合并即可。

 （4）Self-certifying  FileSystem（SFS），它将所有的文件保存在同一个目录下，所有的文件都可以在相对路径中找到，其SFS路径名是其原路径与公钥的哈希。这样的设计包含身份的隐式验证功能，因此SFS被称为自验证文件系统。

 分布式存储如何与区块链相结合？

区块链的诞生本是为了做到去中心化，在没有中心机构的情况下达成共识，共同维护一个账本。它的设计动机并不是为了高效、低能耗，抑或是拥有无限的可扩展性（如果追求高效、低能耗和扩展性，中心化程序可能是更好的选择），分布式存储与区块链协同工作，能够补充区块链的两大缺陷：

 （1）区块链存储效率低，成本高。

区块链网络要求全部的矿工维护同一个账本，需要每一个矿工留有一个账本的备份在本地。那么在区块链中存放的信息，为了保证其不可篡改，也需要在各个矿工手中留有一份备份，这样是非常不经济的。如果有1万个矿工，即便在网络保存1MB信息，全网消耗的存储资源将是10GB。可以使用IPFS存储文件数据，并将唯一永久可用的IPFS地址放置到区块链事务中，而不必将数据本身放在区块链中，因为IPFS的自验证文件系统技术可以保证其内容的不可篡改的特性。也就是区块链用于共识重要的数据，如数字资产、交易记录等，分布式存储作为存储层替代现有的中心化数据库，用于分布式的存储大量的附加信息，避免了链下数据集中被某个中心控制，而是由网络参与者一起参与存储，避免把所有信息放到链上，极大拓宽了区块链的应用范围。

 （2）跨链需要各个链之间协同配合，难以协调。

IPFS能协助各个不同的区块链网络传递信息和文件。IPFS本身就具有保证其内容的不可篡改的特性，能够作为可信信息源。同时IPFS可将不同链的区块信息获取成可读内容，可协助链之间获取区块信息。 

分布式存储与区块链如何为数据要素市场构建基础设施

数据被纳入生产要素的基础现状 

相关试点：2018年5月，为贯彻落实党中央、国务院关于推进公共信息资源开放的有关工作部署，中央网信办、发展改革委、工业和信息化部联合印发《公共信息资源开放试点工作方案》，确定在北京、上海、浙江、福建、贵州开展公共信息资源开放试点，要求针对当前开放工作中平台缺乏统一、数据缺乏应用、管理缺乏规范、安全缺乏保障等主要难点，在建立统一开放平台、明确开放范围、提高数据质量、促进数据利用、建立完善制度规范和加强安全保障６方面开展试点，探索形成可复制的经验，逐步在全国范围加以推广。方案要求，试点地区要结合实际抓紧制定具体实施方案，明确试点范围，细化任务措施，积极认真有序开展相关工作，着力提高开放数据质量、促进社会化利用，探索建立制度规范，于２０１８年底前完成试点各项任务。

重要官方意见： 2020年 4月9日，中共中央、国务院印发《关于构建更加完善的要素市场化配置体制机制的意见》。这是中央关于要素市场化配置的第一份文件，对于形成生产要素从低质低效领域向优质高效领域流动的机制，提高要素质量和配置效率，引导各类要素协同向先进生产力集聚，加快完善社会主义市场经济体制具有重大意义。 

数据要素市场面临的问题及挑战 

• 数据所有权界定不明确、不清晰

• 数据共享后难以追踪溯源；数据易泄露或被未授权使用

• 相关领域数据资源向社会开发的进展缓慢

• 缺乏公平、透明的数据利益分配机制和手段

• 未形成完善的产业链条，交易规模有效；缺少成熟案例 
  

区块链如何为数据要素市场构建基础设施

通过区块链和智能合约对数据分类目录以及数据确权、授权、使用、加工、权利转移等操作记录进行存证和全程追溯，形成不可篡改的数据履历，提高数字资产交易市场的透明度和可信度。区块链提供了全程过程的可追溯性与不可篡改性。在下图的架构中解决的数据要素市场全周期的记录与管理，而数据本身需要存储在数据库中，利用分布式存储技术，可以做到数据的加密存储，授权访问模式，同时分布式存储对比传统中心化数据库更加安全。   

 区块链为数据要素确权、交易提供基础设施与底层系统

在下图的架构中解决的数据要素市场全周期的记录与管理，而数据本身需要存储在数据库中，利用分布式存储技术，可以做到数据的加密存储，授权访问模式，同时分布式存储对比传统中心化数据库更加安全，无法单方面掌握整体数据，同时数据是加密存储，只有在区块链上完成了相应的授权才能获取完整数据，进而使用数据。从整体上保证数据被合法合规的利用。

推荐阅读 ：

---

▼

往期精彩回顾

▼