大数据技术基础笔记4 分布式数据库HBase

Posted 2021-05-13 Lora鳃鳃

文章目录

• • 4.1 概述
  • 4.2 HBase访问接口
  • 4.3 HBase数据模型
  • 4.4 HBase的实现原理
  • 4.5 HBase运行机制
  • 4.6 HBase编程实践
  • 4.7 小结

4.1 概述

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表

为什么需要HBase?
Hadoop可以很好地解决大规模数据的离线批量处理问题，但是无法满足大规模数据实时处理应用的需求
HDFS面向批量访问模式，不是随机访问模式
关系型数据库无法应对在数据规模剧增时导致的系统扩展和性能问题，即使分库分表
传统关系数据库在数据结构变化时一般需要停机维护；空列浪费存储空间
NoSQL数据库与关系数据库互补

HBase与传统的关系数据库的区别主要体现在以下几个方面：
数据类型：关系型数据库的数据模型较复杂，数据类型丰富，Base则采用了更加简单的数据模型，它把数据存储为未经解释的字符串
数据操作：关系数据库中包含了丰富的操作，其中会涉及复杂的多表连接。HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等
存储模式：关系数据库是基于行模式存储的。HBase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的
数据索引：关系数据库通常可以针对不同列构建复杂的多个索引，HBase只有一个索引——行键
数据维护：在关系数据库中，更新操作会用最新的当前值去替换记录中原来的旧值，HBase中则是生成一个新的版本，旧有的版本仍然保留
可伸缩性：关系数据库很难实现横向扩展，纵向扩展的空间也比较有限。相反，HBase能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩，因为底层是HDFS

4.2 HBase访问接口

4.3 HBase数据模型

HBase是一个稀疏、多维度、排序的映射表
这张表的索引是行键、列族、列限定符和时间戳
每个值是一个未经解释的字符串，没有数据类型
用户在表中存储数据，每一行都有一个可排序的行键和任意多的列
表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多个列，同一个列族里面的数据存储在一起
列族支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型
HBase中执行更新会保留旧版本，生成新版本

数据模型相关概念:
表（Table）：表由行和列组成，多个列组成列族
行（Row）：每个行由行键（row key）来标识
列族（Column Family）：表被分组成许多“列族” 的集合，它是基本的访问控制单元
列限定符（Column Qualifer）：列族里的数据通过列限定符（列）来定位
单元格（cell）：通过行、列族和列限定符确定一个“单元格”， 单元格中存储的数据没有数据类型，总被视为字节数组byte[]
时间戳（Timestamp）：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引

4.4 HBase的实现原理

HBase的实现包括三个主要的功能组件：
（1）库函数：客户端编程使用
（2）一个Master主服务器：Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡
（3）许多个Region服务器：Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求
客户端并不是直接从Master主服务器上读取数据，而是通过Zookeeper来获得Region位置信息，然后直接从Region服务器上读取数据，大多数客户端甚至从来不和Master通信

一个表开始只有一个Region，后来不断分裂
Region拆分操作瞬时完成，客户端访问感受不到：
拆分过程中的Region读取的仍然是原存储文件
直到“合并”过程把存储文件异步地写到独立的文件之后，才会读取新文件

一个表的数据划分为多个Region
表的不同Region可以分布到不同的Region服务器上

每个Region大小：
每个Region的最佳大小取决于单台服务器的有效处理能力
2006年以前的硬件配置默认100MB到200MB
2013年以后的硬件配置最佳大小建议1GB-2GB
同一个Region不会被分拆到多个Region服务器
每个Region服务器存储10-1000个Region

Region定位采用三级结构：
元数据表，又名.META.表：存储了Region和Region服务器的映射关系，当元数据表太大超过Region大小时，元数据表会被分裂成多个Region
根数据表，又名-ROOT-表：记录所有元数据表各个Region的具体位置
Zookeeper文件：记录根数据表的位置

-ROOT-表和.META.表也以Region方式保存在Hbase中

4.5 HBase运行机制

HBase系统架构
Zookeeper是一个集群管理工具，被大量用于分布式计算系统中，提供配置维护、域名服务、分布式同步、组服务等功能。
Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题。

Master主服务器
主要负责表和Region的管理工作，包括：
管理用户对表的增加、删除、修改、查询等操作。
实现不同Region服务器之间的负载均衡。
在Region分裂或合并后，负责重新调整Region的分布。
对发生故障失效的Region服务器上的Region进行迁移。

Region服务器
Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。

用户写数据过程：
用户写入数据时，被分配到相应Region服务器去执行
用户数据首先被写入到MemStore和HLog中
只有当操作写入HLog之后，commit()调用才会将其返回给客户端

用户读数据过程：
当用户读取数据时，Region服务器会首先访问MemStore缓存，如果找不到，再去磁盘上面的StoreFile中寻找

4.6 HBase编程实践

HBase常用Shell命令
create：创建表
list：列出HBase中所有的表信息
put：向表、行、列指定的单元格添加数据。一次只能为一个表的一行数据的一个列添加一个数据
scan：浏览表的相关信息
get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值
enable/disable：使表有效或无效
drop：删除表

HBase常用Java API及应用实例
-创建表、插入数据、浏览数据
-创建一个学生信息表：
姓名作为行键，并且假设姓名不会重复
考试成绩是一个列族，分别存储了各个科目的考试成绩。逻辑视图如表所示。






添加数据时，需要分别设置参数myTableName、rowkey、colFamily、col、val的值，然后运行上述代码
例如添加一行数据时，为insertData()方法指定相应参数，并运行如下3行代码：

上述代码与如下HBase Shell命令等效：


比如，现在要获取姓名为“zhangsan”在“English”上的数据，就可以在运行上述代码时，指定参数tableName为“student”、rowKey为“zhangsan”、colFamily为“score”、col为“English”。

getData(“student”, “zhangsan”, “score”, “English”);

上述代码与如下HBase Shell命令等效：
get ‘student’,‘zhangsan’,{COLUMN=>‘score:English’}”

4.7 小结

本章详细介绍了HBase数据库的知识。HBase数据库是BigTable的开源实现，和BigTable一样，支持大规模海量数据，分布式并发数据处理效率极高，易于扩展且支持动态伸缩，适用于廉价设备
HBase可以支持Native Java API、HBase Shell、Thrift Gateway、REST Gateway、Pig、Hive等多种访问接口，可以根据具体应用场合选择相应访问方式
HBase实际上就是一个稀疏、多维、持久化存储的映射表，它采用行键、列键和时间戳进行索引，每个值都是未经解释的字符串。本章介绍了HBase数据在概念视图和物理视图中的差别
HBase采用分区存储，一个大的表会被分拆许多个Region，这些Region会被分发到不同的服务器上实现分布式存储
HBase的系统架构包括客户端、Zookeeper服务器、Master主服务器、Region服务器。客户端包含访问HBase的接口；Zookeeper服务器负责提供稳定可靠的协同服务；Master主服务器主要负责表和Region的管理工作；Region服务器负责维护分配给自己的Region，并响应用户的读写请求
本章最后详细介绍了HBase运行机制和编程实践的知识