Hbase的架构原理核心概念

Posted 2020-09-12 李晟男的博客

Hbase的架构原理、核心概念

1.Hbase的表、行、列、列族

2.核心组件：

Table和region

　　Table在行的方向上分割为多个HRegion，

　　一个region由[startkey,endkey)表示，每个HRegion分散在不同的RegionServer中

client作用：

　　提供用户操作hbase的接口(shell、java的api接口)

zookeeper作用：

　　Zookeeper集群存储-ROOT-表的地址和Master地址(-ROOT-表在0.96.0之后已经被替换)

　　RegionServer主动向Zookeeper注册使得Master可随时感知各Region Server的健康状态。

　　Zookeeper另一个重要作用是保证任何时候hbase集群中只有一个激活状态的hmaster，

　　已达到hmaster高可用(hbase本身是高可用).

Hmaster:

　　负责HBase中Table和Region的管理,包括表的增删改查

　　Region Server的负载均衡

　　Region分布调整

　　Region分裂以及分裂后的Region分配

　　Region Server失效后的Region迁移等。

HRegionServer的作用：

　　HRegionServer 主要负责相应用户的I/O请求，进而跟HDFS交互，从HDFS中读写数据，虽然每个进程都很重要，但个人认为HRegionServer是HBase中最核心的进程。

下面对HRegionServer的内部结构做一个简单描述:

　　HRegionServer 内部管理了一系列的HRegion对象，HRegion和Region是一回事吗？其实HRegion对应了Table中的一个Region，HRegion是对其进行的封装。

　　每个HRegion中由多个HStore组成。HStore则对应Table中的Column Family，

　　不论此Column Family 内部有多少数据，都会创建一个新的HStore,因此将相同属性的数据放进相同的Column Family 很有必要，避免一次访问，

　　访问多个HStore，性能低下。而HStore 则是HBase的核心的存储单元了，而HStore由两个部分组成，一是MemStore,再就是StoreFile

　　MemStore 是Sorted Memory Buffer ,client 写入的数据先写入MemStore,当达到MemStore的阀值时，将其Flush 成为一个StoreFile(HFile),StoreFile 则是存储在硬盘上的文件。

总结：

　　---处理对用户对这些region的I/O请求

　　---Regionserver维护region对象

　　---Regionserver负责切分在运行过程中变得过大的region

Hlog的作用(默认是打开)：

　　通过hbase的WAL(write-ahead-log)机制来保证数据写入时出现异常，方便恢复。

HRegion作用：

　　是表中的一部分，rs会默认按照rowkey来进行拆分成多个region。

storefile：

　　存储单元，存储基本单位，相当于一个列族。

memstore:

　　内存缓冲区，一个store对应一个memstore，当在写数据时，首先将数据

　　写入到Hlog，然后再写入到memstore，当达到memstore的溢写阈值时才会将数据flush到hdfs中。

HFile:

　　相当于存储一列数据。

组件对应关系：

　　hmaster:hregionserver=1:n

　　hregionserver:hlog=1:1

　　hregionserver:hregion=1:n

　　hregion:store=1:n

　　store:memstore=1:1

　　storeFile:HFile=1:1

HBase中的数据最终存储在DataNode的块Block上