利用HaoheDI从数据库抽取数据导入到hbase中

Posted haohedi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了利用HaoheDI从数据库抽取数据导入到hbase中相关的知识,希望对你有一定的参考价值。

下载apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz

将其中的

phoenix-4.14.0-HBase-1.4-client.jar

phoenix-core-4.14.0-HBase-1.4.jar

2个jar文件导入到lib目录下,不要使用hbase1.2的驱动,连接时会有异常错误产生。

需要将phoenix-4.14.0-HBase-1.4-client.jar中的javax目录删除,否则和tomcat中的包冲突。

在数据驱动中增加Phoenix-hbase的驱动设置:(如果使用系统中的驱动文件导入,导入后需要重启HHDI应用)

技术分享图片

类名:org.apache.phoenix.jdbc.PhoenixDriver

URL:jdbc:phoenix:{host}:{port}

数据连接设置:

技术分享图片

数据抽取任务判断如果使用了Phoenix的驱动,则将INSERT INTO 语句替换为UPSERT INTO 语句

示例:Oracle To Hbase

技术分享图片

任务配置和其它数据库没有区别,源的SELECT中的字段类型需要与目标Hbase表的字段类型一致

技术分享图片

执行结果:每秒1万行左右,

技术分享图片

以上是关于利用HaoheDI从数据库抽取数据导入到hbase中的主要内容,如果未能解决你的问题,请参考以下文章

Sqoop

大数据常用数据抽取

大数据Sqoop将mysql直接抽取至Hbase

详解Sqoop的架构和安装部署

sqoop抽取oracle数据至hive并建表

详解Sqoop的架构和安装部署