Loading Data From Oracle To Hive By ODI 12c
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Loading Data From Oracle To Hive By ODI 12c相关的知识,希望对你有一定的参考价值。
本文描述如何通过ODI将Oracle表数据同步到Hive。
1、准备工作
在hadoop集群的各个节点分别安装Oracle Big Data Connectors,具体的组件如下图所示:
这里只需安装Oracle Loader For Hadoop(oraloader)以及Oracle SQL Connector for Hadoop Distributed File System (oraosch)两个软件。安装比较简单,直接解压即可使用(这里的ODI、oraosch以及oraloader组件都是以oracle用户身份安装的。)
2、创建目标表
在Hive上创建目标表,如下:
CREATE TABLE `RHNPACKAGE2`(
`id` bigint,
`org_id` bigint,
`name_id` bigint,
`evr_id` bigint,
`package_arch_id` bigint,
`package_group` bigint,
`rpm_version` string,
`description` string,
`summary` string,
`package_size` bigint,
`payload_size` bigint,
`installed_size` bigint,
`build_host` string,
`build_time` timestamp,
`source_rpm_id` bigint,
`checksum_id` bigint,
`vendor` string,
`payload_format` string,
`compat` bigint,
`path` string,
`header_sig` string,
`copyright` string,
`cookie` string,
`last_modified` timestamp,
`created` timestamp,
`header_start` bigint,
`header_end` bigint,
`modified` timestamp);
3、创建映射
之前已经创建好oracle和hive模型,这里直接使用其创建映射。如下图所示:
Integration Type设置属性:
连接设置属性:
过滤设置属性:
LKM设置属性:
IKM设置属性:
如果设置TRUNCATE的值为True,每次导入之前,会把表里的数据清空再导入,默认为false。
4、执行映射
结果如下图:
以上是关于Loading Data From Oracle To Hive By ODI 12c的主要内容,如果未能解决你的问题,请参考以下文章
[MST] Loading Data from the Server using lifecycle hook
Loading Data Into Hive From File By ODI 12c
使用OGG"Loading data from file to Replicat"的方法应该注意的问题:replicat进程是前台进程
python3 upload data from CSV into Oracle
Manipulating Data from Oracle Object Storage to ADW
Create Data Block Based On From Clause Query In Oracle Forms