HBase存储结构
Posted frost2
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HBase存储结构相关的知识,希望对你有一定的参考价值。
HBASE存储架构
01
HBASE表结构
这是一张只有一条数据的HBase表。它的结构大致如下:
对这里不是很清楚的可以去看一下我的关于HBase表结构介绍的文章。
02
HBase表存储结构
HBase里的一个table会在行方向切割为多个Region。
即一张HBase表有一到多个Region组成,一个Region又由一到多个列组成。
实际上,Region是行键按照数据字典排序后根据规则分隔成的连续的存储空间。他可以动态扩展并且HBase保证Region的负载均衡。同时每个Region分布在不同的服务器上,存储Region的服务器叫做HRegion Server。
03
Region详解
Region是按照大小分进行割的,每张表一开始只有一个Region,随着数据不断插入,Region不断增大,当增大到一个阀值的时候,一个Region就会等分成两个新的Region。当table中的行不断增多,就会有越来越多的Region。如下图所示:
这个阈值是由hbase.hregion.max.filesize指定,默认为10GB。Region的拆分和转移是由HBase(HMaster)自动完成的,用户感知不到。
Region是HBase中分布式存储的和负载均衡的最小单元,但不是存储的最小单元。
事实上,Region由一个或者多个HStore组成,每个Hstore保存一个columns family。
每个HStore又由一个memStore和零至多个StoreFile组成。StoreFile以HFile格式保存在HDFS上。如图所示:
总结:Region是分布式的存储最小单位,StoreFile是存储的最小单位。
作者的话:
相关知识
姿势已摆好
就等你点啦
发现更多精彩
以上是关于HBase存储结构的主要内容,如果未能解决你的问题,请参考以下文章
如果我们使用Hadoop处理大数据,那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据