利用HaoheDI从数据库抽取数据导入到hbase中

Posted 2021-01-12 haohedi

下载apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz

将其中的

phoenix-4.14.0-HBase-1.4-client.jar

phoenix-core-4.14.0-HBase-1.4.jar

2个jar文件导入到lib目录下，不要使用hbase1.2的驱动，连接时会有异常错误产生。

需要将phoenix-4.14.0-HBase-1.4-client.jar中的javax目录删除，否则和tomcat中的包冲突。

在数据驱动中增加Phoenix-hbase的驱动设置：（如果使用系统中的驱动文件导入，导入后需要重启HHDI应用）

类名：org.apache.phoenix.jdbc.PhoenixDriver

URL：jdbc:phoenix:{host}:{port}

数据连接设置：

数据抽取任务判断如果使用了Phoenix的驱动，则将INSERT INTO 语句替换为UPSERT INTO 语句

示例：Oracle To Hbase

任务配置和其它数据库没有区别，源的SELECT中的字段类型需要与目标Hbase表的字段类型一致

执行结果：每秒1万行左右，