* HBase框架基础(三)
本节我们继续讨论HBase的一些开发常识,以及HBase与其他框架协调使用的方式。在开始之前,为了框架之间更好的适配,以及复习之前HBase的配置操作,请使用cdh版本的HBase开启动相关服务,记得,配置HMaster的HA。
为了方便,cdh版本hbase下载传送门:
链接:http://pan.baidu.com/s/1dFsyakT 密码:xji7,相关配置请参考HBase框架基础(一)
* HBase的数据迁移
原因:我们需要问一个问题,何时,HBase的数据需要被迁移?例如:集群架构变更,服务器硬件,或者软件升级等等。
方案:
1、将整个HBase目录迁移到另一个集群
distcp方式:
尖叫提示:以下NameNode为两个独立的物理集群,不是HA
$ bin/hadoop distcp hdfs://NameNode1:8020/hbase hdfs://NameNode2:8020/hbase
hftp方式:
$ bin/hadoop distcp -i hftp://sourceFS:50070/hbase hdfs://dstFS:8020/hbase
当完成了整个迁移后,可以使用hbck来恢复一下hbase的元数据,因为元数据也有可能在迁移的过程中出现问题。
hbck修复:
$ bin/hbase hbck -fixMeta
2、自定义MapReduce程序
这种方式主要是自己写一个MapReduce程序,自行的读取集群中的某一个HBase表中的数据,然后写入到另一个集群的HBase的表中。稍后我们做一个实现。
* BulkLoad加载文件到HBase表
功能:将本地文件数据导入到HBase当中
原理:BulkLoad会将tsv/csv格式的文件编程hfile文件,然后再进行数据的导入,这样可以避免大量数据导入时造成的集群写入压力过大。
作用:
1、减小HBase集群插入数据的压力
2、提高了Job运行速度,降低Job执行时间
BulkLoad举例测试:
Step1、配置临时环境变量,与上一节一样
$ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6
$ export HADOOP_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6
$ export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`
Step2、创建一个新的HBase表
$ bin/hbase shell
hbase(main):001:0> create ‘fruit_bulkload‘,‘info‘
Step3、将tsv/csv文件转化为HFile (别忘了要确保你的fruit格式的文件fruit.txt在input目录下)
$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar \
/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/lib/hbase-server-0.98.6-cdh5.3.6.jar importtsv \
-Dimporttsv.bulk.output=/output_file \
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color \
fruit hdfs://mycluster/input
完成之后,你会发现在HDFS的根目录下出现了一个output_file文件夹,里面存放的就是HFile文件
Step4、把HFile导入到HBase表fruit_bulkload
$ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar \
/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/lib/hbase-server-0.98.6-cdh5.3.6.jar \
completebulkload /output_file fruit_bulkload
Step5、查看使用bulkLoad方式导入的数据,如图:
* HBase中的自定义MapReduce
在Hadoop的学习阶段,我们了解了如何编写MapReduce代码,那么HBase中自定义MapReduce也是大同小异。接下来我们就看看应该如何操作,实现将文件中的数据或HBase表中的数据通过自定义MapReduce导入到HBase。
案例一:HBase表数据到表数据的导入
Hadoop中:
我们分别继承了Mapper和Reducer两个类,然后编写mapreduce代码
而HTable(HBase)中:
我们要继承的是TableMapper和TableReducer从而编写mapreduce代码
我们依照Hadoop中WordCount的示例,分为3个步骤走:
目标:将fruit表中的一部分数据,通过MapReduce迁入到fruit_mr表中(fruit_mr表是个新的空的表)
Step1、自行建立项目,以来不再赘述请参考上一节内容
Step2、构建ReadFruitMapper类,用于读取fruit表中的数据
Step3、构建WriteFruitMRReducer类,用于将读取到的fruit表中的数据写入到fruit_mr表中
Step4、构建Fruit2FruitMRJob类,用于组装运行Job任务
Step5、主函数中调用运行该Job任务
尖叫提示:导入数据前请确保fruit_mr表是存在的,运行后如图:
案例二:文件数据到HBase表数据的导入
与案例一不同的是,本次是将数据从源文件读取出来,解析后,写入到HBase的某张表中。而此时Mapper不再继承自TableMapper,而是直接继承自Mapper了。
目标:将文件中的数据导入到fruit_mr_from_txt表中
Step1、自行建立项目,以来不再赘述请参考案例一的内容(不新建项目也可以,这个阶段你应该已经懂得怎么弄)
Step2、构建ReadFruitFromHDFSMapper类,用于读取tsv格式的fruit.txt文件中的数据
Step3、构建WriteFruitMRFromTxtReducer类
Step4、组装Job
Step5、运行测试
尖叫提示:测试前确保fruit_mr_from_txt表已经创建,测试后scan一下这个表如图:
* 总结
Congratulations!你已经掌握了如何使用MapReduce来操作HBase,这将有助于你在工作中更加灵活的操作数据。
个人微博:http://weibo.com/seal13
QQ大数据技术交流群(广告勿入):476966007
作者:Z尽际
链接:https://www.jianshu.com/p/647578c30301
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。