pk Round-3

Posted 2020-12-21 yangms

1、hbase数据flush过程

1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；

2）并将数据存储到HDFS中；

3）在HLog中做标记点。

 

2、数据合并过程

1）当数据块达到4块，hmaster将数据块加载到本地，进行合并

2）当合并的数据超过256M，进行拆分，将拆分后的region分配给不同的hregionserver管理

3）当hregionser宕机后，将hregionserver上的hlog拆分，然后分配给不同的hregionserver加载，修改.META.

4）注意：hlog会同步到hdfs