HBase框架基础

Posted 王振龙

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HBase框架基础相关的知识,希望对你有一定的参考价值。

* HBase框架基础(三)

本节我们继续讨论HBase的一些开发常识,以及HBase与其他框架协调使用的方式。在开始之前,为了框架之间更好的适配,以及复习之前HBase的配置操作,请使用cdh版本的HBase开启动相关服务,记得,配置HMaster的HA。

为了方便,cdh版本hbase下载传送门:

链接:http://pan.baidu.com/s/1dFsyakT 密码:xji7,相关配置请参考HBase框架基础(一)

* HBase的数据迁移

原因:我们需要问一个问题,何时,HBase的数据需要被迁移?例如:集群架构变更,服务器硬件,或者软件升级等等。

方案:

1、将整个HBase目录迁移到另一个集群

distcp方式:

尖叫提示:以下NameNode为两个独立的物理集群,不是HA

$ bin/hadoop distcp hdfs://NameNode1:8020/hbase hdfs://NameNode2:8020/hbase

 hftp方式:

$ bin/hadoop distcp -i hftp://sourceFS:50070/hbase hdfs://dstFS:8020/hbase

当完成了整个迁移后,可以使用hbck来恢复一下hbase的元数据,因为元数据也有可能在迁移的过程中出现问题。

hbck修复:

$ bin/hbase hbck -fixMeta

2、自定义MapReduce程序

这种方式主要是自己写一个MapReduce程序,自行的读取集群中的某一个HBase表中的数据,然后写入到另一个集群的HBase的表中。稍后我们做一个实现。

* BulkLoad加载文件到HBase表

功能:将本地文件数据导入到HBase当中

原理:BulkLoad会将tsv/csv格式的文件编程hfile文件,然后再进行数据的导入,这样可以避免大量数据导入时造成的集群写入压力过大。

作用:

1、减小HBase集群插入数据的压力

2、提高了Job运行速度,降低Job执行时间

BulkLoad举例测试:

Step1、配置临时环境变量,与上一节一样

$ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6

$ export HADOOP_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6

$ export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

Step2、创建一个新的HBase表

$ bin/hbase shell

hbase(main):001:0> create ‘fruit_bulkload‘,‘info‘

Step3、将tsv/csv文件转化为HFile (别忘了要确保你的fruit格式的文件fruit.txt在input目录下)

$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar \

/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/lib/hbase-server-0.98.6-cdh5.3.6.jar importtsv \

-Dimporttsv.bulk.output=/output_file \

-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color \

fruit hdfs://mycluster/input

完成之后,你会发现在HDFS的根目录下出现了一个output_file文件夹,里面存放的就是HFile文件

Step4、把HFile导入到HBase表fruit_bulkload

$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar \

/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/lib/hbase-server-0.98.6-cdh5.3.6.jar \

completebulkload /output_file fruit_bulkload

Step5、查看使用bulkLoad方式导入的数据,如图:

 
技术分享图片
 

* HBase中的自定义MapReduce

在Hadoop的学习阶段,我们了解了如何编写MapReduce代码,那么HBase中自定义MapReduce也是大同小异。接下来我们就看看应该如何操作,实现将文件中的数据或HBase表中的数据通过自定义MapReduce导入到HBase。

案例一:HBase表数据到表数据的导入

Hadoop中:

我们分别继承了Mapper和Reducer两个类,然后编写mapreduce代码

而HTable(HBase)中:

我们要继承的是TableMapper和TableReducer从而编写mapreduce代码

我们依照Hadoop中WordCount的示例,分为3个步骤走:

目标:将fruit表中的一部分数据,通过MapReduce迁入到fruit_mr表中(fruit_mr表是个新的空的表)
Step1、自行建立项目,以来不再赘述请参考上一节内容

Step2、构建ReadFruitMapper类,用于读取fruit表中的数据

 
技术分享图片
 

Step3、构建WriteFruitMRReducer类,用于将读取到的fruit表中的数据写入到fruit_mr表中

 
技术分享图片
 

Step4、构建Fruit2FruitMRJob类,用于组装运行Job任务

 
技术分享图片
 

Step5、主函数中调用运行该Job任务

 
技术分享图片
 

尖叫提示:导入数据前请确保fruit_mr表是存在的,运行后如图:

 
技术分享图片
当然,以上步骤操作完成之后,你也可以打出一个Jar包然后再CRT中尝试执行,在此不再赘述了

案例二:文件数据到HBase表数据的导入

与案例一不同的是,本次是将数据从源文件读取出来,解析后,写入到HBase的某张表中。而此时Mapper不再继承自TableMapper,而是直接继承自Mapper了。

目标:将文件中的数据导入到fruit_mr_from_txt表中

Step1、自行建立项目,以来不再赘述请参考案例一的内容(不新建项目也可以,这个阶段你应该已经懂得怎么弄)

Step2、构建ReadFruitFromHDFSMapper类,用于读取tsv格式的fruit.txt文件中的数据

 
技术分享图片
 

Step3、构建WriteFruitMRFromTxtReducer类

 
技术分享图片
 

Step4、组装Job

 

 
技术分享图片
 

Step5、运行测试

 
技术分享图片
 

尖叫提示:测试前确保fruit_mr_from_txt表已经创建,测试后scan一下这个表如图:

 
技术分享图片
 

* 总结

Congratulations!你已经掌握了如何使用MapReduce来操作HBase,这将有助于你在工作中更加灵活的操作数据。


个人微博:http://weibo.com/seal13

QQ大数据技术交流群(广告勿入):476966007



作者:Z尽际
链接:https://www.jianshu.com/p/647578c30301
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。








以上是关于HBase框架基础的主要内容,如果未能解决你的问题,请参考以下文章

HBase框架基础

HBase框架基础

HBase框架基础

HBase框架基础

Hadoop学习笔记—15.HBase框架学习(基础知识篇)

HBase原理 | 如何确保多步操作的事务性?HBase基础框架级特性Procedure解读