文件入库ORACLE自动化脚本

Posted 2021-04-13 叶同学专栏

背景

现提供有一批表结构和数据文件，需要入库到ORACLE，通过sqlldr方式入库。

简单流程

开发语言/工具

  shell是个好东西， 虽然没有 C++、Python、Java、C# 等编程语言强大，但也支持了基本的编程元素，而且能在LINUX上快速的开发实现功能，其中的awk命令极其强大，对运维人员来说极其方便。

  SQL*Loader(sqlldr)是Oracle数据库系统提供的一个高速批量数据加载工具，它可以在极短的时间内加载数量庞大的数据，可以直接被前端应用程序调用，并具有数据过滤等功能。

生成配置文件脚本:create_ctl.sh

tablename=$1
filepath=$2
echo tablename:$tablename filepath:$filepath

echo "load data" >${tablename}.ctl
ls ${filepath}|awk '{print "infile \x27'${filepath}'"$1"\x27"}' >>${tablename}.ctl

cat >>${tablename}.ctl <<EOF
append
PRESERVE BLANKS
into table ${tablename}
fields terminated by X'01'
optionally enclosed by '"'
trailing nullcols
(
EOF

sqlplus -S user/passwd@sid <<EOF 
spool ${tablename}.columntype ;
desc ${tablename};
spool off;
exit 
EOF

cat ${tablename}.columntype|egrep -v '(-|Name|^$)'|awk -F ' ' '{if($2=="DATE"){print $1 " Date \x27yyyy-mm-dd hh24:mi:ss\x27"} else {print $1}}'|awk 'NR==1{print $1 $2};NR>1{print ","$0}'  >>${tablename}.ctl

echo ")" >>${tablename}.ctl

rm -f ${tablename}.columntype

du -sh ${filepath}

调用sqlldr脚本:load.sh

logpath="..."
ctlpath="..."
tablename=$1

sqlplus -S user/passwd@sid <<EOF 
truncate table ${tablename};
exit 
EOF

sqlldr user/passwd@sid errors=5000 control=${ctlpath}${tablename}.ctl log=${logpath}${tablename}.log bad=${logpath}${tablename}.bad direct=true rows=200000 

运行示例:

sh create_ctl.sh tablename /data/tablename/
nohup ./load.sh tablename >./ztablename.log &

当加载数据比较大的表时，最好建nologging表

ALTER TABLE tablename nologging; 

sqlldr 的用法

使用语法：

Usage: SQLLDR keyword=value [,keyword=value,...]

常用参数说明：

userid

Oracle 的 username/password@servicename

control

控制文件，可能包含表的数据

log

记录导入时的日志文件，默认为 控制文件(去除扩展名).log

bad

坏数据文件，默认为 控制文件(去除扩展名).bad

data

数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作

errors

允许的错误记录数，可以用他来控制一条记录都不能错

rows

多少条记录提交一次，默认为 64

skip

跳过的行数，比如导出的数据文件前面几行是表头或其他描述

load

表示并不导入所有的数据，只导入跳过skip参数后的指定条数据

bindsize

表示每次提交记录缓冲区的大小，默认256k

direct

使用直通路径方式导入,不走buffer cache,通过direct path api发送数据到服务器端的加载引擎，加载引擎按照数据块的格式处理数据并直接写向数据文件,因此效率较高(默认FALSE)

parallel

并行导入 仅在直接路径加载时有效(默认FALSE)

skip_unusable_indexes

默认为false,如果是true,则加载完数据时，就算此表索引不可用,数据加载完不会改变此索引状态,oracle 数据库中也有此同名参数，但顺序是先看sqlldr,再数据库

skip_index_maintenance

是否跳过索引维护，默认false,直接路径加载有效，如果设置为true,因加载完数据不维护索引,因此索引会失效

readsize

缓冲区大小,默认值:1048576单位字节,最大不超过20m,该参数仅当从数据文件读取时有效

sqlldr控制文件参数说明

load data
CHARACTERSET 'UTF8'            //指定使用的字符集为UTF-8
infile '/data/filename'        //指定数据文件位置，多个文件用写多行
append into table test         //追加导入数据的表
fields terminated by ','       //字段之间的分隔值为逗号
optionally enclosed by '"'     //界定符号为""
TRAILING NULLCOLS              //没有值的字段设置为空
(
COMPANY ,                              //从数据文件中读入的列
STARTDATE Date "yyyy-mm-dd" ,          //设置日期格式
ENDDATE Date "yyyy-mm-dd hh24:mi:ss" , //设置日期格式
ID "test.NEXTVAL",                     //ID的取值为序列  
IMPDATE "to_date('2020-04-08 11:30:36','yyyy-mm-dd hh24:mi:ss')", //插入固定日期格式的值
FLAG constant"open"                     //constant 指定插入默认值"open",而不是从指定的数据文件中读取记录
)