分布式存储的意义，HDFS技术剖析

Posted 2021-04-02 HDFS亚太算力社区

随着现代社会信息技术的发展以及人类生活的智能化，全球数据量正在无限制地扩展和增加。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。

分布式存储的意义

分布式存储是由区块链激励构建的去中心化存储系统，是区块链和存储系统的有效结合。与企业存储和云存储相比，分布式存储具有更高的可靠性。将数据存储在全球数千万个节点上，而不是用多副本模式，而是更高级的冗余编码模式，它有效地避免了单点故障带来的负面影响。仅在硬盘故障这一项上，区块链存储的可靠性就比云存储的 10的 64 次方，而整体可靠性至少是云存储的 10,000 倍。

分布式存储通过将负载分散到各地的节点上，提高可用性。在服务可用性方面，分布式存储至少比云存储高出 1 亿倍。此外，分布式存储成本更低，因为区块链技术对去除数据重复率的问题有良好的解决能力，通过数据去重能将成本降低 5 倍至 10 倍，区块链所采用的边缘节点架构，对硬件的需求度较低，比搭建中心化数据存储中心的成本也要低得多。

HDFS 存储容量扩展方案

HDFS 提出了区块链存储容量可拓展方案，将一条完整的区块链副本进行分片处理，并将分片数据保存在一定比例的节点中。同时，HDFS 增加了验证节点，对存储数据的节点进行基于数据可检索性证明（proofs of retrievability，POR）方法的实时检测，并记录更新存储节点稳定性值，依此选择高稳定性节点来储存新产生的数据副本，提高了数据存储的稳定性，有效减少了海量节点的大量存储空间，增加了区块链的储存扩展性。

基于开源分布式文件存储系统优化改进

HDFS 在原有的 Hadoop 存储上进行了优化和改进，以解决 Hadoop 小文件存储占用大量内存的缺点，使它成为一个能够快速满足用户存储需求的智能分布式文件系统。

HDFS 公链通过 HDFS 存储小文件，以“ 打包-构建索引-上传”的方式，来访问 HDFS 中的小文件。

纠删码分块编码分布式存储

HDFS 通过 Erasure Code（纠删码）技术将区块文件进行分块编码，每个节点根据算法仅保留部分编码块，节点通过收集一定数量的编码块进行解码即可恢复出原始数据块。利用 Erasure Code 技术的容错能力保障原始区块文件在区块链网络中可用的同时，又因编码块分布式存储减少了节点因存储完整区块文件带来的存储开销，节约了存储资源，增加了区块链平台的存储扩展性。

HDFS 网络智能合约压缩存储

通过重复使用智能合约字节码，HDFS 节省了智能合约存储空间近 47％，智能合约在经过压缩存储后，不仅可以减少区块链上存储的数据，还可以减轻节点同步数据的负担，使节点可以更快的加入区块链网络。

HDFS是一个高速、安全、可拓展的区块链分布式存储项目。面向5G，对分布式存储底层技术深度开发及优化，通过切片技术对节点的P2P传输，实现数百兆文件的秒传；在数据存储方面，通过采用一种高效的数据存储架构来提高数据存储效率。

随着HDFS分布式节点全面启动，全球百万设备有效链接，HDFS要做的就是，在大数据时代下为社会科技技术发展奠定扎实基础，为全球个人及企业提供数据存储的基础！