HBase 是列式存储数据库吗

Posted 2021-02-02 felixzh

在介绍 HBase 是不是列式存储数据库之前，我们先来了解一下什么是行式数据库和列式数据库。

行式数据库和列式数据库

在维基百科里面，对行式数据库和列式数据库的定义为：
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理（OLAP）和即时查询。
相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于小批量的数据处理，常用于联机事务型数据处理（OLTP）。

比如我们有以下的表格：

那么行式数据库和列式数据库存储模型分别如上面的左图和右图。
可以看到，行式数据一行的数据是在相邻位置存储的；而列式数据相同列是相邻存储的，比如上面的 session_id 这列是放在一起存储的。

HBase 是列式数据库吗

现在我们已经了解了行式数据库和列式数据库的存储格式的简单区别了。
那么进入正文，我们来看下 HBase 是不是列式数据库。
很多地方介绍 HBase 有这么一句话：HBase is a column-oriented database management system that runs on top of Hadoop Distributed File System (HDFS)。
注意里面的 column-oriented 一词，很多资料或者初学者都把它翻译成列式，这句话就中文翻译就变成 HBase 是运行在 HDFS 之上的列式数据库管理系统。
那么 HBase 到底是不是列式存储呢？
其实 HBase 不是列式存储数据库！
本文就从底层存储模式来解释这个。

不管是存储在内存的 MemStore，还是存储在 HDFS 上的 HFile，其都是基于 LSM（Log-Structured Merge-Tree）结构存储的。
下图有助于我们简单理解 MemStore 和 HFile 是怎么存储数据的，假设我们有以下一张 HBase 表。

那么，HBase 底层的 KV 存储大概如下所示的：

从上图可以看出：

• 不同的列族存在不同的文件中（上面两个表格代表不同的 HFile）；
• 整个数据是按照 Rowkey 进行字典排序的；
• 每一列数据在底层 HFile 中是以 KV 形式存储的；
• 相同的一行数据中，如果列族也一样，那么这些数据是顺序放在一起的。

到这里大家应该可以看到，HBase 其实不是列式数据库，因为同一行数据，如果列族也一样，这些数据是存储在相邻位置的；这和上面的列式存储不太一样。
所以说，HBase 既不像行式存储，又不像列式存储。它其实更像是面向列族的存储数据库，因为不同行相同的列族数据是相邻存储的；而同一行不同列族的数据是存储在不同位置的。

注意：HBase实际存储在hdfs上的形式：/hbase/data/default/<tbl_name>/<region_id>/<cf>/<hfile_id>

这也是创建表时，必须指定表名与列族的原因！

所以 HBase is a column-oriented database management system that runs on top of Hadoop Distributed File System (HDFS) 这句话应该翻译成 HBase 是运行在 HDFS 之上的面向列的数据库管理系统。