记一次从oracle到hive的历史数据迁移

Posted 2020-08-05

介绍一下具体场景

    需要从现有在用的oracle中将历史数据迁移出来并导入到hive中，存在几个问题：1、现有oracle数据库在使用无法整个库导出，数据库服务器没有权限；2、由于各个数据提供方的各次升级，oracle数据库采取添加字段而不删除字段的方式更新，而hive中建立的表数据结构要按新的来，也就是说oracle导出的数据到hive表中需要做字段对应。

    决定先将oracle导入到另一个oracle中，将oracle中表字段和hive中的表字段进行比对得到各个的对应关系，之后写对应的sqoop语句对应利用ETL流程安装账期一天一天导入。 

    从一个oracle到另一个oracle导入的方案，利用大神写出的sqluldr2 工具用来导出数据，导入利用

sqlldr 命令导入到另一个库表中。

   导出的具体命令

sqluldr2.bin user=root/[email protected] query="select /*+ parallel(8) */ * from table   " head=no File=/data/oracle/tmp/file 导出到本地目录

  导入的具体命令

sqlldr root/[email protected]@ip:1521/tnsname control=/data/oracle/shell/xxx.ctl 

data=/data/oracle/tmp/file

log=/data/oracle/log/file.log errors=0 rows=100000 bindsize=1024000000 direct=y;

xxx.ctl 是用来指定导入表的字段和分割符如下写法

load data

truncate into table  tablename

Fields terminated by ‘,‘ #文件的列分隔符

TRAILING NULLCOLS

( 

IP char(255), 

APPKEY char(255), 

PLATFORM char(255), 

PORTAL char(255), 

COMPANYID char(255) )