Hbase的架构原理核心概念

Posted 李晟男的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hbase的架构原理核心概念相关的知识,希望对你有一定的参考价值。

Hbase的架构原理、核心概念

1.Hbase的表、行、列、列族

2.核心组件:

Table和region

  Table在行的方向上分割为多个HRegion,

  一个region由[startkey,endkey)表示,每个HRegion分散在不同的RegionServer中

client作用:

  提供用户操作hbase的接口(shell、java的api接口)

zookeeper作用:

  Zookeeper集群存储-ROOT-表的地址和Master地址(-ROOT-表在0.96.0之后已经被替换)

  RegionServer主动向Zookeeper注册使得Master可随时感知各Region Server的健康状态。

  Zookeeper另一个重要作用是保证任何时候hbase集群中只有一个激活状态的hmaster,

  已达到hmaster高可用(hbase本身是高可用).

Hmaster:

  负责HBase中Table和Region的管理,包括表的增删改查

  Region Server的负载均衡

  Region分布调整

  Region分裂以及分裂后的Region分配

  Region Server失效后的Region迁移等。

HRegionServer的作用:

  HRegionServer 主要负责相应用户的I/O请求,进而跟HDFS交互,从HDFS中读写数据,虽然每个进程都很重要,但个人认为HRegionServer是HBase中最核心的进程。

下面对HRegionServer的内部结构做一个简单描述:

  HRegionServer 内部管理了一系列的HRegion对象,HRegion和Region是一回事吗?其实HRegion对应了Table中的一个Region,HRegion是对其进行的封装。

  每个HRegion中由多个HStore组成。HStore则对应Table中的Column Family,

  不论此Column Family 内部有多少数据,都会创建一个新的HStore,因此将相同属性的数据放进相同的Column Family 很有必要,避免一次访问,

  访问多个HStore,性能低下。而HStore 则是HBase的核心的存储单元了,而HStore由两个部分组成,一是MemStore,再就是StoreFile

  MemStore 是Sorted Memory Buffer ,client 写入的数据先写入MemStore,当达到MemStore的阀值时,将其Flush 成为一个StoreFile(HFile),StoreFile 则是存储在硬盘上的文件。

总结:

  ---处理对用户对这些region的I/O请求

  ---Regionserver维护region对象

  ---Regionserver负责切分在运行过程中变得过大的region

Hlog的作用(默认是打开):

  通过hbase的WAL(write-ahead-log)机制来保证数据写入时出现异常,方便恢复。

HRegion作用:

  是表中的一部分,rs会默认按照rowkey来进行拆分成多个region。

storefile:

  存储单元,存储基本单位,相当于一个列族。

memstore:

  内存缓冲区,一个store对应一个memstore,当在写数据时,首先将数据

  写入到Hlog,然后再写入到memstore,当达到memstore的溢写阈值时才会将数据flush到hdfs中。

HFile:

  相当于存储一列数据。

组件对应关系:

  hmaster:hregionserver=1:n

  hregionserver:hlog=1:1

  hregionserver:hregion=1:n

  hregion:store=1:n

  store:memstore=1:1

  storeFile:HFile=1:1

HBase中的数据最终存储在DataNode的块Block上

以上是关于Hbase的架构原理核心概念的主要内容,如果未能解决你的问题,请参考以下文章

Ceph分布式存储核心概念以及架构原理

10Hive核心概念和架构原理

Hbase总结

Hadoop 功能组件入门

12Hive核心概念与原理详解

Spring Cloud Gateway核心概念和工作原理-Part 1