HBase最佳学习资料汇总

Posted 2021-04-19 HBase技术社区

前言

HBase这几年在国内使用的越来越广泛，在一定规模的企业中几乎是必备存储引擎，互联网企业阿里巴巴、京东、小米都有数千台的HBase集群，中国电信的话单、中国人寿的保单都是存储在HBase中。注意大公司有数十个数百个HBase集群，此点跟Hadoop集群很不相同。另外，数据需求，很多公司是mysql+HBase+Hadoop/Spark，满足关系型数据库需求，满足大规模结构化存储需求，满足复杂分析的需求。如此流行的原因来源于很多方面，如：

• 开源繁荣的生态：1. 任何公司倒闭，开源的HBase还在 2.几乎每家公司都可以去下载源码，改进她，再反馈给社区，就如阿里已经反馈了数百个patch了。加入的人越多，引擎就越好

• 跟HADOOP深度结合：本就同根同源，在数据存储在HBase后，如果想复杂分析，则非常方便

• 高扩展、高容量、高性能、低成本、低延迟、稀疏宽表、动态列、TTL、多版本等最为关键，起源Google论文，发扬社区及广大互联网公司，设计之初就是为存储互联网，后经过多年的改进升级，如今已经是结构化存储的事实标准

书籍

最好买纸质书籍，集中时间看下

• HBase权威指南（HBase： The Definitive Guide)：理论多一些

• HBase实战：实践多一些

总结

• HBase2.0: HBase2.0 :预计今年会发布，hbase2.0是革命性的版本

• HBase Phoenix：Apache Phoenix与HBase：HBase之上SQL的过去，现在和未来

• HBase技术社区博客：http://hbase.group/

方法

• 学术界关于HBase应用场景(物联网/车联网/交通/电力等)研究大全: HBase在互联网领域有广泛的应用，比如：互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等。得益于HBase海量的存储量及超高并发写入读取量。HBase在09年就开始在工业界大范围使用，在学术界，也有非常多的高校、机构在研究HBase应用于不同的行业，本文主要梳理下这些资料(主要是中文资料,有一些是硕士论文期刊)，这些很多都在工业界使用了。

• HBase使用场景和成功案例 存储互联网的初心不变

• 一种基于物联网大数据的设备信息采集系统及方法：怎么使用HBase、sparkStreaming、redis处理物联网大数据

• 一种基于HBase的智能电网时序大数据处理方方案：一种基于HBase的智能电网时序大数据处理方方案

• HBase配合GeoHash算法支持经纬度：此文主要讲GeoHash算法的

• 基于HBase的海量GIS数据分布式处理实践：设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程，将海量栅格数据直接写入HBase存储、索引。同时，针对矢量空间数据的存储、索引与检索，提出了一种新的rowkey设计，既考虑经纬度，又考虑空间数据类型和属性，使得在按空间位置检索矢量地理信息时，能通过HBase的rowkey迅速定位需要返回的数据。在HBase的集群环境上用真实GIS数据对上述方法进行了验证，结果表明，提出的系统具有较高的海量数据存储和检索性能，实现了海量地理信息数据的高效存储和实时高速检索。

• 基于HBase的金融时序数据存储系统：金融类时序数据的存储方案，写的还是结合实际场景的。

实践

基本围绕在用户画像、安全风控、订单存储、交通轨迹、物理网、监控、大数据中间存储、搜索、推荐等方面：

• 阿里巴巴-大数据时代的结构化存储HBase在阿里的应用实践：讲述在阿里巴巴集团的实践，HBase在阿里集团已经10000台左右，主要在订单、监控、风控、消息、大数据计算等领域使用

• 阿里巴巴搜索-Hbase在阿里巴巴搜索中的完美应用实践：讲述在搜索场景下hbase的应用及相关的改进

• 日均采集1200亿数据点，腾讯千亿级服务器监控数据存储实践：本文将从当前存储架构存在的问题出发，介绍从尝试使用 Opentsdb 到自行设计 Hbase 存储方案来存储 TMP 服务器海量监控数据的实践历程。

• 滴滴-HBase在滴滴出行的应用场景和最佳实践：统计结果、报表类数据、原始事实类数据、中间结果数据、线上系统的备份数据的一些应用

• 
  

• HBase在京东的实践 ：跟阿里一样，京东各个业务线使用了HBase，如：风控、订单、商品评价等

• 中国人寿基于HBase的企业级大数据平台：使用一个大跨表存储所有的保单，HBase宽表的实践

• HBase在Hulu的使用和实践:用户画像、订单存储系统、日志存储系统的使用

• Apache HBase at Netease:在报表、监控、日志类业务、消息类业务、推荐类业务、风控类业务有所使用，另外讲述了一些优化的点。

• 10 Million Smart Meter Data with Apache HBase：讲述Hitachi为什么选择hbase及在HBase方面的应用

• G7：如何用云计算链接30万车辆--EMR&Hbase 在物联网领域的实践及解决方案 讲述了怎么使用spark及hbase来满足物联网的需求

资料

• HBase：https://pan.baidu.com/s/1jILzgns

• 知乎HBase讨论：https://www.zhihu.com/topic/19600820/hot

• hbase-help：http://hbase-help.com/

• CSDN HBase资料库：http://lib.csdn.net/hbase/node/734

结尾

这些资料是笔者整理，以供有大规模结构化需求的用户及HBase爱好者学习交流，以使用HBase更好的解决实际的问题。

交流

如果大家对HBase有兴趣，致力于使用HBase解决实际的问题，欢迎加入Hbase技术社区群交流：

微信HBase技术社区群

钉钉HBase技术社区群

推荐

    Java进阶技术干货，实践分享，跟着占小狼学习JVM、Netty以及性能优化