2021年大数据HBase：Hbase的架构！建议收藏

Posted 2021-12-17 Lansonli

全网最详细的大数据HBase文章系列，强烈建议收藏加关注！

新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。

目录

系列历史文章

前言

Hbase的架构

一、Client

二、Master Server

三、Region Server

四、逻辑结构模型

五、Region

六、Store

七、MemStore

八、StoreFile

九、WAL

十、集群架构

---

系列历史文章

2021年大数据HBase（十七）：HBase的360度全面调优

2021年大数据HBase（十六）：HBase的协处理器(Coprocessor)

2021年大数据HBase（十五）：HBase的Bulk Load批量加载操作

2021年大数据HBase（十四）：HBase的原理及其相关的工作机制

2021年大数据HBase（十三）：HBase读取和存储数据的流程

2021年大数据HBase（十二）：Apache Phoenix 二级索引

2021年大数据HBase（十一）：Apache Phoenix的视图操作

2021年大数据HBase（十）：Apache Phoenix的基本入门操作

2021年大数据HBase（九）：Apache Phoenix的安装

2021年大数据HBase（八）：Apache Phoenix的基本介绍

2021年大数据HBase（七）：Hbase的架构！【建议收藏】

2021年大数据HBase（六）：HBase的高可用！【建议收藏】

2021年大数据HBase（五）：HBase的相关操作-JavaAPI方式！【建议收藏】

2021年大数据HBase（四）：HBase的相关操作-客户端命令式！【建议收藏】

2021年大数据HBase（三）：HBase数据模型

2021年大数据HBase（二）：HBase集群安装操作

2021年大数据HBase（一）：HBase基本简介

前言

 2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。

有对大数据感兴趣的可以关注微信公众号：三帮大数据

Hbase的架构

一、Client

客户端，例如：发出HBase操作的请求。例如：之前我们编写的Java API代码、以及HBase shell，都是CLient

二、Master Server

• 监控RegionServer , 处理RegionServer故障转移
• 处理元数据的变更 , 处理region的分配或移除
• 在空闲时间进行数据的负载均衡
• 通过Zookeeper发布自己的位置给客户端

三、Region Server

• 处理分配给它的Region , 负责存储HBase的实际数据
• 刷新缓存到HDFS , 维护HLog
• 执行压缩 , 负责处理Region分片
• RegionServer中包含了大量丰富的组件，如下：

       Write-Ahead logs , HFile(StoreFile) , Store , MemStore , Region

四、逻辑结构模型

五、Region

在HBASE中，表被划分为很多「Region」，并由Region Server提供服务

六、Store

Region按列族垂直划分为「Store」，存储在HDFS在文件中

七、MemStore

• MemStore与缓存内存类似
• 当往HBase中写入数据时，首先是写入到MemStore
• 每个列族将有一个MemStore
• 当MemStore存储快满的时候，整个数据将写入到HDFS中的HFile中

八、StoreFile

• 每当任何数据被写入HBASE时，首先要写入MemStore
• 当MemStore快满时，整个排序的key-value数据将被写入HDFS中的一个新的HFile中
• 写入HFile的操作是连续的，速度非常快
• 物理上存储的是HFile

九、WAL

• WAL全称为Write Ahead Log，它最大的作用就是 故障恢复
• WAL是HBase中提供的一种高并发、持久化的日志保存与回放机制
• 每个业务数据的写入操作（PUT/DELETE/INCR），都会保存在WAL中
• 一旦服务器崩溃，通过回放WAL，就可以实现恢复崩溃之前的数据
• 物理上存储是Hadoop的Sequence File

十、集群架构

---

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨