《大数据技术应用与原理》第二版-第四章分布式数据库HBase

Posted 2021-03-21 睿晞

4.1概述

1. HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化松散数据。
2. HBase与传统数据库的区别
   • 数据类型上的区别，它把数据存储为未经解释的字符串
   • 数据操作，没有像关系型数据库那样的复杂数据操作，通常采用单表的主键查询。
   • 存储模式，关系型数据库是采用行进行存储的，但是HBase是采用列存储的。
   • 数据索引，HBase只有一个索引，就是行键。
   • 数据维护，HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧的版本任然保存。
   • 可伸缩性，关系型数据库很难实现横向扩展，纵向扩展也很有限。而HBase是为了实现灵活的水平扩展而开发的。
   • 但是存在自身的局限性，也就是不支持事务，无法实现跨行的原子性。

4.2HBase访问接口

1. HBase提供Native Java API、HBase Shell、Thrift Gateway、REST Gateway、Pig、Hive等多种访问方式。

4.3HBase数据模型

1. HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳。列族支持动态扩展。
2. 表，采用表来组织数据，表由行和列组成。
3. 行，访问表中行的方式：
   • 通过单个行键访问
   • 通过一个行键的区间来访问
   • 全表扫描
4. 列族， 它是基本的控制访问单元
5. 列限定符，列族中的数据通过列限定符来定位，不许事先定义，没有数据类型，但是常常被视为字节数组
6. 单元格， 通过行键、列族、列限定符确定一个单元格。单元格中没有数据类型，总是被视为字节数组，每个版本对应一个时间戳。
7. 时间戳， 时间戳一般是64位整型
8. 数据坐标，由四个定位，行键、列族、列限定符、时间戳。
9. 概念视图，看起来是像是由许多行组成的。
10. 物理视图， 但是在物理层面，它是采用了基于列的存储方式。按照列族分开存放，里面包括行键和时间戳。
11. 面向列存储，行式数据库适合于小批量的数据处理；列式数据库适合面向批量数据处理和即席查询。优点是可以降低I/O开销。

4.4HBase的实现原理

1. HBase的功能组件，主要有三个功能组件，库函数，链接到每个客户端；Master主服务器；许多个Region服务器。
   • Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求。
   • 主服务器，Master负责管理和维护HBase表的分区信息。
   • Hbase客户端并不依赖于Master而是借助Zookeeper来获得Region的位置。
2. 表和Region， Region是负载均衡和数据分发的基本单位。，每个Region的大小是100M~200MB，同一个Region是不会被拆分到多个Region服务器上的。
3. Region的定位，每个Region都有一个的RegionID来标识它的唯一性，一个Region标识符可以表示为“表名+开始主键+RegionID”。映射表包括两项内容，一个是Region的标识符，另一个是Region服务器标识，也称为“元数据表”，又名“.META.表”。如果元数据表过多了，就会产生根数据表，-ROOT-表，客户访问用户数据前，首先访问Zookeeper。

4.5HBase运行机制

1. 客户端是访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续访问过程。
2. Zookeeper服务器并非一台单一的机器，可能由多台机器构成的集群来提供稳定可靠的协同服务。Zookeeper中保存了根数据表和Master的地址。
3. Master， Master服务器主要负责Region的管理工作。
   • 管理用户对于表的增加、删除、修改、查询等操作。
   • 实现不同Region服务器之间的负载均衡
   • 在Region分裂合并后，负责重新调整Region的分布
   • 对于发生故障失效的Region服务器上的Region进行迁移
4. Region服务器，是HBase最核心的模块，负责维护分配给自己的Region，并且响应读写请求。HBase本身并不具备数据复制和维护数据副本功能，而是HDFS可以为HBase提供这些支持。

1. Region服务器的工作原理

1. Region服务器中管理了一系列的Region对象和一个HLog文件，其中HLog文件是磁盘上面的记录文件，记录着所有的更新操作。
2. 每个Region对象又是由多个Store组成，每个Store对应表中的的一个列族存储，每个Store又包含一个MemStore和若干个StoreFile；其中MemStore是内存中的缓存，保存最新更新的数据；StoreFile是磁盘中的文件，这些文件都是B树结构，底层实现方式是HDFS的HFile

2. Store的工作原理

1. MemStore是排序的内存缓冲区，当MemStore缓存满时，就会刷新到磁盘中的StoreFile文件中。随着多个StoreFile合并称为一个大的文件，当文件超过一个阈值的时候，会触发一个文件分裂操作，同时当前一个父Region会分裂成两个子Region，新分裂出的两个子Region被Master分配到相应的Region服务器上。

3. HLog的工作原理

1. HBase采用HLog来保证系统发生故障时能够发生故障时能够恢复到正常状态。每个Region服务器中配置一个HLog文件，它是一种预写式日志，也就是被写入日志后才能够写入MemStore缓存。

4. HBase常见的Shell

1. hbase shell 进入Shell环境
2. create ‘t1‘, {NAME => ‘f1‘, VERSIONS => 5} 创建表t1，列族f1，列族版本号为5
3. create ‘t1‘, {NAME => ‘f1‘}, {NAME => ‘f2‘}, {NAME => ‘f3‘} 创建表t1，三个列族，或则使用命令代替create ‘t1‘, ‘f1‘, ‘f2‘, ‘f3‘
4. list 列出HBase所有的表信息
5. put ‘t1‘, ‘row1‘, ‘f1:c1‘, ‘value1‘, 1421822284898向表中t1中行row1和列f1：c1对应的单元格中添加数据value1，时间戳为后面那串数字。
6. get用来获取数据
7. scan用来浏览表
8. alter修改列族模式alter ‘t1‘, NAME => ‘f1‘向表t1中添加列族f1alter ‘t1‘, NAME => ‘f1‘ METHOD => ‘delete‘删除表中列f1
9. count统计表中行数
10. describe ‘t1‘显示表的相关信息
11. drop删除表
12. shutdown关闭集群