读懂IMMT的分布式存储
Posted IMMT
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了读懂IMMT的分布式存储相关的知识,希望对你有一定的参考价值。
IMMT(Intelligent Memory Meshwork,中文名:新一代智能存储网)是由IMMT区块链实验室联合打造的支持隐私保护的高可用企业级存储公链。
简而言之,IMMT瞄准的是分布式区块链存储领域。以下我们来科普下这一技术风口。
分布式存储是相对于集中式存储来说的,那么什么是集中式存储?不久之前,企业级的存储设备都是集中式存储。集中式存储具有集中性的,整个存储是集中存放的。集中式存储通常是多个设备整合在一块。以EMX公司的存储为例,整个存储系统可能需要若干个设备存放。
图1 集中式存储物理示意图
集中式存储通常包括控制器、JBOD和交换机等设备外,还有管理设备等辅助设备。如图2是一个集中式存储的基本逻辑示意图。
分布式存储概念主要包括分布式文件系统、分布式块存储和分布式对象存储分布式数据库和分布式缓存等。
分如图3是谷歌分布式存储(HDFS)的简化的模型。在该系统的整个架构中将服务器分为两种类型,namenode,和datanode。
图3 HDFS简化架构图示意图
如图是Ceph存储系统的架构,在该架构中与HDFS不同的地方在于该架构中没有中心节点。客户端是通过一个设备映射关系计算出来其写入数据的位置,这样客户端可以直接与存储节点通信,从而避免中心节点的性能瓶颈。
图4 Ceph无中心架构
与Ceph的通过计算方式获得数据位置的方式不同,另外一种方式是通过一致性哈希的方式获得数据位置。一致性哈希的方式就是将设备做成一个哈希环,然后根据数据名称计算出的哈希值映射到哈希环的某个位置,从而实现数据的定位。
图5 一致性哈希原理
如图5是一致性哈希的基本原理,为了绘制简单,本文以一个服务器上的一个磁盘为例进行介绍。为了保证数据分配的均匀性及出现设备故障时数据迁移的均匀性,一致性哈希将磁盘划分为比较多的虚拟分区,每个虚拟分区是哈希环上的一个节点。整个环是一个从0到32位最大值的一个区间,并且首尾相接。当计算出数据(或者数据名称)的哈希值后,必然落到哈希环的某个区间,然后以顺时针,必然能够找到一个节点。那么,这个节点就是存储数据的位置。
图6 Swift数据定位示意图
上述计算过程是在一个名为Proxy的服务中进行的,该服务可以集群化部署。因此可以分摊请求的负载,不会成为性能瓶颈。
区块链技术的发展给了分布式存储赋予新的思路,随着点对点分布式应用越来越成熟,存储行业已经由桌面存储、企业级存储、云存储发展到最新的分布式区块链存储。
总的来说,区块链存储是指利用闲置的带宽、存储、计算等资源,并通过跨平台、低功耗的技术,以及节点就近点对点访问的智能调度技术,通过通证激励的方式,提供实现更快、更易扩展、更环保的计算资源。
区块链存储概念可以追溯到2015年。2015年IPFS提出构建面向全球的、点对点的分布式存储文件系统,从此以后,区块链存储的概念迅速爆红,一大批先行者存储项目诞生,包括Storj、Maidsafe、Genaro、Sia等。与此同时,IBM、谷歌、ORACLE等传统互联网巨头也提出了区块链存储概念,IBM提出区块链存储服务概念,提供一站式区块链存储解决方案。
基于区块链的分布式存储树协议 IMMT设计了BCTP高可用存储协议。BCTP,Blockchain Consensus Tree Protocol,是高可用的分布式存储树协议,它有望突破当前区块链存储性能不佳的难题,致力于驱动IMMT成为大数据引擎。
Gear混合齿轮跨链存储协议 Gear是IMMT创新的跨链协议,旨在联合包括公链、联盟链、传统云存储等分布式存储生态,完成不同系统、项目的存储资源的共享。针对区块链存储的跨链,IMMT基于Substrate开发框架协议开发。
IMMT(Intelligent Memory Meshwork,中文名:新一代智能存储网)是由IMMT区块链实验室联合打造的支持隐私保护的高可用企业级存储公链。
IMMT将基于高度可伸缩BCTP扩展协议和Gear混合齿轮跨链协议,采用混合中继共享链管理,提供可配置式B端存储标准化接口,快速整合异构存储系统,致力于成为区块链存储网络的大数据引擎发动机,为各行业链改提供海量分布式存储池、即时存储服务和支持GDPR隐私等海量数据支撑。
矿池注册网址:http://www.immtpool.com/zh-cn
IMMT官网:http://www.immtec.org/
以上是关于读懂IMMT的分布式存储的主要内容,如果未能解决你的问题,请参考以下文章
一文读懂IPFS—分布式存储的未来
IPFS终极指南:3分钟带你读懂分布式存储赚钱逻辑
一文读懂分布式唯一ID生成
阿里 HBase 超详实践总结 | 一文读懂大数据时代的结构化存储
一文读懂HadoopHBaseHiveSpark分布式系统架构
HBase 一文读懂