全球性革命数据存储，HDFS即将上线

Posted 2020-12-19

全球性革命数据存储，HDFS即将上线

在这个互联网时代，随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。

分布式管理系统的最大的变化就是管理对象不再是单机本地分布的，而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。

那么分布式存储类型有哪些呢？

??? HDFS，顾名思义 Hadoop Distributed File System，翻译过来就是hadoop分布式文件系统，至于它的来历我就不说了，网上比比皆是。

分布式管理系统的最大的变化就是管理对象不再是单机本地分布的，而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。

简单今天给大家介绍下HDFS技术创新，设计优势

HDFS使用可链接环签名和多重签名来改善整体性能系统的安全性。通过将交易过程与包装分开进程，其交易由虚拟机执行，实现了交易过程高效而有序。

HDFS正在构建基于Hadoop技术的区块链智能大数据存储系统。它可以提高用户访问效率，节省集群存储空间；作为区块链的基础开发平台，HDFS增加了基于数据可检索性（PoR）增加了区块链存储扩展性。运用博弈论有效地提高了网络的效率和实用性。HDFS提出了可验证抗合谋智能合约，使智能合约的应用更安全，公平，有效。任何人都放心在HDFS网络上创建智能合约。

解决矿工中心化问题
HDFS公链上设有矿工和验证节点。矿工在区块链中注册以参与出快的节点，验证节点记录注册后的旷工，验证节点以队列形式管理矿工，验证节点通过计算生成新矿工的矿工编号。所述验证节点通过随机选择算法得出下一个旷工编号。HDFS通过随机机制证明选择节点，解决了矿工在区块链中的集中化。计算方法简单，提高出块效率，而且计算时间短，消耗更少资源。随机生成旷工编号提高了DDOS***的难度难度并增强了网络安全性。

逆向兼容挖矿

为了抵御自私挖矿***，HDFS提出了逆向兼容协议。当矿工发现区块有两个相同长度的分叉(fork)时，同时在全网上广播它们，并且随机均匀的在这两个分支上继续挖矿。这样可以阻止那些控制少于1/4资源的自私矿池成为一个控制绝大多数资源的矿池。HDFS扩展了挖矿策略的空间，包括了“顽固”策略。证明了对于较大规模的策略空间来说自私挖矿并不是一个好的策略。

激励兼容支付功能
HDFS在矿工之间定义了一个HDFS挖矿博弈，提出了一种新的激励相容支付函数。该支付函数不仅考虑到每个旷工的份额还考虑到发现区块者的身份，使得收益分配更加合理。
区块链存储容量激励

现有的区块链云平台未充分利用计算每个节点的算力，结果导致区块链云平台的每个节点的算力闲置，无法对挖矿节点进行合理激励。在HDFS的存储容量，存储节点和验证节点提供了自己大量的磁盘空间，保证了用户节点数据安全。此外，HDFS还提出了针对存储节点和验证节点的激励机制。可以令他们自身作为用户节点，使用真实数据进行容量验证挖矿，获得HDFS奖励。

HDFS分布式存储的意义

分布式存储是由区块链激励构建的去中心化存储系统，是区块链和存储系统的有效结合。与企业存储和云存储相比，分布式存储具有更高的可靠性。将数据存储在全球数千万个节点上，而不是用多副本模式，而是更高级的冗余编码模式，它有效地避免了单点故障带来的负面影响。仅在硬盘故障这一项上，区块链存储的可靠性就比云存储的10的64次方，而整体可靠性至少是云存储的10,000倍。分布式存储通过将负载分散到各地的节点上，提高可用性。在服务可用性方面，分布式存储至少比云存储高出1亿倍。此外，分布式存储成本更低，因为区块链技术对去除数据重复率的问题有良好的解决能力，通过数据去重能将成本降低5倍至10倍，区块链所采用的边缘节点架构，对硬件的需求度较低，比搭建中心化数据存储中心的成本也要低得多。

HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。

?? HDFS的设计建立在更多地响应"一次写入、多次读写"任务的基础上。这意味着一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及数据集中的大部分数据，也就是说，对HDFS来说，请求读取整个数据集要比读取一条记录更加高效。

综上所述是本篇文章的全部内容，更多大数据系列文章持续更新中，敬请期待。