HBase架构设计

Posted 2021-11-09 yszd

一.Client

　　包含访问HBase的接口并维护cache来加快对HBase的访问。

二.Zookeeper

　　1.保证任何时候，集群中只有一个master。

　　2.存储所有Region的寻址入口。

　　3.实时监控Region server的上线和下线信息，并实时通知Master。

　　4.存储HBase的schema和table元数据。

三.Master

　　1.为Region server分配region。

　　2.负责Region server的负载均衡。

　　3.发现失效的Region server并重新分配其上的region。

　　4.管理用户对table的增删改操作。

四.Region Server

　　1.Region server维护region，处理对这些region的I/O请求。

　　2.Region server负责切分在运行过程中变得过大的region。

五.Region

　　1.HBase自动把表水平划分成多个区域【region】，每个region会保存一个表里面某段连续的数据。

　　2.每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阈值大的时候，region就会等分为两个新的region【裂变】。

　　3.当table的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Region server上。

六.Memstore与storefile

　　1.一个region由多个store组成，一个store对应一个cf【列族】。

　　2.store包括位于内存中的memstore和位于磁盘的storefile，写操作先写入memstore，当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile，每次写入形成一个单独的storefile。

　　3.当storefile文件的数量增长到一定阈值后，系统会进行合并【minor compaction：相邻两个小文件之间合并，不影响HBase提供服务。major compaction： 在合并过程中会进行版本合并和删除操作，影响HBase提供服务】，形成更大的storefile。

　　4.当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由hmaster随机分配到相应的regionserver服务器，实现负载均衡。

　　5.客户端检索数据，先在memstore中找，找不到再去storefile中找。

备注：

　　1.HRegion是HBase中分布式存储和负载均衡的最小单位。HRegion可以分布在不同的HRegion server上。

　　2.HRegion由一个或多个store组成，每个store保存一个列族。

　　3.每个store又有一个memStore和0到多个storeFile组成。