创新培训深圳分中心创新协会举办“NoSQL及HBase”专题培训

Posted 2021-05-01 深圳分中心创新

      2017年9月8日至9日，深圳分中心举办了为期两天的NoSQL及HBase培训，培训邀请了在大数据HBase领域有深厚理论功底和丰富实战经验的刘刚老师为大家介绍了NoSQL发展情况、HBase架构和原理、HBase API和工具、应用案例剖析、HBase运维和优化等内容。培训不但从技术发展和HBase理论方面为大家提供学习指导，还提供了单机版和集群版虚拟机环境给大家实验。本次培训除了深圳分中心大数据小组全员参与外，还有其他部门五十余人报名参加。

 

 

      培训从关系型数据库面临的困境讲起，引出了NoSQL数据库在大数据应用场景的优势。HBase是NoSQL数据库中的优秀代表，是一种分布式的、基于列存储、多版本的ROWKEY型开源数据库。Hbase显著的特点是基于ROWKEY的列式存储，建表时只需要定义列簇，不用指定具体列名，可以在使用的时候自定义增加上百万列。Hbase还可以指定表的VERSION数量，对于一些需要保存历史数据版本的场景，通过设置VERSION数就可以保存特定数量的版本。另外，Hbase还支持数据压缩和建表对ROWKEY进行预SPLIT或插入数据后再SPLIT并通过MOVE操作达到数据在集群中的均衡分布。

 

 

      在讲解Hbase架构和原理的时候，刘老师通过HBase实践操作、WEB页面监控、HDFS文件变化跟踪等方面由浅入深仔细介绍，对LSM存储引擎和WAL快速写机制也进行详细讲解。在HBase早期应用当中，大家比较习惯用HBase原生接口和Java API进行操作，随着HBase版本升级，相应jar包和方法也有升级，应用过程中会出现不少问题，要花不少时间调试。本次讲解API的时候还介绍和演示了Phoenix工具的应用，可以用Java JDBC来连接Phoenix,然后操作HBase；另外，还有Hive和HBase对接，ORM工具在HBase中的应用等。

 

 

      第一天的培训偏向于理论，第二天的培训则更加注重实践。OpenTSDB时序数据监控、银行冠字号查询系统、订单交易查询等案例让大家对ROWKEY设计、VERSION使用、列簇不定列有了更直观和深入的理解。在HBase运维和调优方面，对各类监控工具、Server端调优、Client端调优、Zookeeper调优、HDFS调优和硬件瓶颈等方面都讲解了可能出现的常见问题及解决方案。课程之余，刘老师还对学员使用单机版和集群版虚拟机环境使用进行指导，对Ambari大数据平台的搭建利器也进行介绍。

       这两天的培训内容非常丰富，不但讲解了HBase数据库知识，还对大数据各项技术和重要应用做了初步介绍，很多方面也仅仅是入门级别的介绍，开阔了大家的视野，也为大家对技术研究指明了新方向。