SQLload

Posted 2020-08-29 张0228

sqlload是oracle提供的批量导入文件数据的工具

1、在导入先，先根据数据建表。

2、执行sqlldr命令
sqlldr userid=username/password control =*.tl --要在ctl文件的目录下执行

3、编写ctl文件
for example：
load data
infile \'F:\\STUDY\\6.1\\CELLPORT_20161124143843_exp_1.csv\' --加载的文件
infile \'F:\\STUDY\\6.1\\CELLPORT_20161124143843_exp_2.csv\' --加载的文件

into table cellport --目标表
when port_status=\'空闲\' --可以设置条件筛选数据
FIELDS TERMINATED BY \',\' --设置分隔符，这里分隔符石，
OPTIONALLY ENCLOSED BY \'"\' --设置结束符，也可以不设置，除非数据很工整，否则最好设置
TRAILING NULLCOLS --设置空数据也，加载。
( --下面是表的字段，对每个字段还可以使用sql函数，进行一些计算或者格式转换等等，
city,
house_name "upper(:house_name)", --使用函数
houes_type,
house_jd,
houese_wd,
eq_name,
eq_range,
eq_location,
eq_fgb,
eq_port,
port_status,
port_type,
OLT,
OLT_PON ,
NUMBER_209 , --
DL_TIMESTAMP date \'yyyy-mm-dd hh24:mi:ss\' --时间转换
)

 

参考资料http://www.cnblogs.com/CodingArt/articles/1624736.html

1.什么是*.csv,如何得到?

里面存放的是数据表.每行代表数据库表格的一行,

每行中,每两个数据中间由逗号","分割.

*.csv可以通过"将excel文件另存为*.csv"得到.

2.如何将*.csv格式的数据导入oracle数据库?

举例来说:

test.csv文件中存放以下数据.

a1,b1

a2,b2

存放路径为:

d:\\test.csv

准备将其存放到oracle数据库中.

a.首先,则需要新建表(栏位数量和类型要和需要导入的一致)

create table test(A char,B char);

b.新建test.ctl文件

用记事本编辑写入:

load data

infile ‘d:\\test.csv’

into table “test”

fields terminated by ‘,’

(A,B)

c.打开cmd命令行界面

输入:

sqlldr userid=user/password@database control=d:\\test.ctl log=d:\\test.log

回车

user/password@database:为账号和密码以及数据库名称.

以上的介绍比较简单.

 

http://www.blogjava.net/Unmi/archive/2009/01/05/249956.html

里面的介绍比较详细,我转到这里:

 

关于 Oracle 的数据导入导出及 Sql Loader (sqlldr) 的用法

在 Oracle 数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：

1. A 表的记录导出为一条条分号隔开的 insert 语句，然后执行插入到 B 表中
2. 建立数据库间的 dblink，然后用 create table B as select * from A@dblink where ...，或 insert into B select * from A@dblink where ...
3. exp A 表，再 imp 到 B 表，exp 时可加查询条件
4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交
5. 再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据，效果比起逐条 insert 来很明显

第 1 种方法在记录多时是个噩梦，需三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能，就要下面那样做：

 

1 alter table B nologging; 
2 
3 insert /* +APPEND */ into B(c1,c2) values(x,xx); 
4 insert /* +APPEND */ into B select * from A@dblink where .....;
5 

 

好啦，前面简述了 Oracle 中数据导入导出的各种方法，我想一定还有更高明的。下面重点讲讲 Oracle  的 Sql Loader (sqlldr) 的用法。

在命令行下执行 Oracle  的 sqlldr 命令，可以看到它的详细参数说明，要着重关注以下几个参数：

userid -- Oracle 的 username/password[@servicename]
control -- 控制文件，可能包含表的数据
-------------------------------------------------------------------------------------------------------
log -- 记录导入时的日志文件，默认为 控制文件(去除扩展名).log
bad -- 坏数据文件，默认为 控制文件(去除扩展名).bad
data -- 数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作
errors -- 允许的错误记录数，可以用他来控制一条记录都不能错
rows -- 多少条记录提交一次，默认为 64
skip -- 跳过的行数，比如导出的数据文件前面几行是表头或其他描述

还有更多的 sqlldr 的参数说明请参考：sql loader的用法。

用例子来演示 sqlldr 的使用，有两种使用方法：

1. 只使用一个控制文件，在这个控制文件中包含数据
2. 使用一个控制文件(作为模板) 和一个数据文件

一般为了利于模板和数据的分离，以及程序的不同分工会使用第二种方式，所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL Developer 或者 Toad 导出，也可以用 SQL *Plus 的  spool 格式化产出，或是 UTL_FILE 包生成。另外，用 Toad 还能直接生成包含数据的控制文件。

首先，假定有这么一个表 users，并插入五条记录： 

 

insert into users values(1,\'Unmi\',3,sysdate); 
insert into users values(2,NULL,5,to_date(\'2008-10-15\',\'YYYY-MM-DD\')); 
insert into users values(3,\'隔叶黄莺\',8,to_date(\'2009-01-02\',\'YYYY-MM-DD\')); 
insert into users values(4,\'Kypfos\',NULL,NULL); 
insert into users values(5,\'不知秋\',1,to_date(\'2008-12-23\',\'YYYY-MM-DD\'));

 

第二种方式： 使用一个控制文件(作为模板) 和一个数据文件

1) 建立数据文件，我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件，内容如下：

 

"   ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"
"1","1","Unmi","3","2009-1-5 20:34:44"
"2","2","","5","2008-10-15"
"3","3","隔叶黄莺","8","2009-1-2"
"4","4","Kypfos","",""
"5","5","不知秋","1","2008-12-23"

 

2) 建立一个控制文件 users.ctl，内容如下：
 

 

 

说明：在操作类型 truncate 位置可用以下中的一值：

1) insert     --为缺省方式，在数据装载开始时要求表为空
2) append  --在表中追加新记录
3) replace  --删除旧记录(用 delete from table 语句)，替换成新装载的记录
4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录

3) 执行命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。

执行完 sqlldr 后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解 Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。

第一种方式，只使用一个控制文件在这个控制文件中包含数据

1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题，把数据处理了一下。此时，完整的 users.ctl 文件内容是：

 

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行 
LOAD DATA 
INFILE *  -- 因为数据同控制文件在一起，所以用 * 表示 
append    -- 这里用了 append 来操作，在表 users 中附加记录  
INTO TABLE users 
when LOGIN_TIMES<>\'8\'  -- 还可以用 when 子句选择导入符合条件的记录 
Fields terminated by ","
trailing nullcols 
( 
  virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号 
  user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值 
  user_name "\'Hi \'||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理 
  login_times terminated by ",", NULLIF(login_times=\'NULL\') --可为列单独指定分隔符 
  last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL 
) 
BEGINDATA --数据从这里开始 
   ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN 
1,1,Unmi,3,2009-1-5 20:34 
2,2,Fantasia,5,2008-10-15 
3,3,隔叶黄莺,8,2009-1-2 
4,4,Kypfos,NULL,NULL
5,5,不知秋,1,2008-12-23

 

2) 执行一样的命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

比如，在控制台会显示这样的信息：

C:\\>sqlldr dbuser/dbpass@dbservice control=users.ctl

 

SQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009

Copyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.

达到提交点，逻辑记录计数4
达到提交点，逻辑记录计数5

上面的控制文件包含的内容比较复杂(演示目的)，请根据注释理解每个参数的意义。还能由此发掘更多用法。

最后说下有关 SQL *Loader 的性能与并发操作

1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗？)

2）常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.

  sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true   
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true   
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true  

  当加载大量数据时（大约超过10GB），最好抑制日志的产生：   
  
  SQL>ALTER   TABLE   RESULTXT   nologging; 
  
  这样不产生REDO LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable，  此选项必须要与DIRECT共同应用。   
  
  在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构 相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费。

 

参考资料：http://blog.csdn.net/dws2004/article/details/6956961

 SQLLDR keyword=value [,keyword=value,...]

    有效的关键字:

    userid -- Oracle 用户名/口令

    control -- 控制文件名

    log -- 日志文件名

    bad -- 错误文件名

    data -- 数据文件名

    discard -- 废弃文件名

    discardmax -- 允许废弃的文件的数目         (全部默认)

    skip -- 要跳过的逻辑记录的数目 (默认 0)

    load -- 要加载的逻辑记录的数目 (全部默认)

    errors -- 允许的错误的数目         (默认 50) 如果不指定，达到错误上限自动停止，肯定是没有完全导入

    rows -- 常规路径绑定数组中或直接路径保存数据间的行数(默认: 常规路径 64, 所有直接路径)

    bindsize -- 常规路径绑定数组的大小 (以字节计) (默认 256000)

    silent -- 运行过程中隐藏消息 (标题,反馈,错误,废弃,分区)

    direct -- 使用直接路径                     (默认 FALSE)

    parfile -- 参数文件: 包含参数说明的文件的名称

    parallel -- 执行并行加载                    (默认 FALSE)

    file -- 要从以下对象中分配区的文件

    skip_unusable_indexes -- 不允许/允许使用无用的索引或索引分区 (默认 FALSE)

    skip_index_maintenance -- 没有维护索引, 将受到影响的索引标记为无用 (默认 FALSE)

    commit_discontinued -- 提交加载中断时已加载的行 (默认 FALSE)

    readsize -- 读取缓冲区的大小               (默认 1048576)

    external_table -- 使用外部表进行加载; NOT_USED, GENERATE_ONLY, EXECUTE (默认 NO

    T_USED)

    columnarrayrows -- 直接路径列数组的行数 (默认 5000)

    streamsize -- 直接路径流缓冲区的大小 (以字节计) (默认 256000)

    multithreading -- 在直接路径中使用多线程

    resumable -- 启用或禁用当前的可恢复会话 (默认 FALSE)

    resumable_name -- 有助于标识可恢复语句的文本字符串

    resumable_timeout -- RESUMABLE 的等待时间 (以秒计) (默认 7200)

    date_cache -- 日期转换高速缓存的大小 (以条目计) (默认 1000)

    PLEASE NOTE: 命令行参数可以由位置或关键字指定。前者的例子是 \'sqlload    scott/tiger foo\';后一种情况的一个示例是 \'sqlldr control=foo userid=scott/tiger\'.位置指定参数的时间必须早于, 但不可迟于由关键字指定的参数。例如,    允许 \'sqlldr scott/tiger control=foo logfile=log\', 但是不允许 \'sqlldr scott/tiger control=foo log\', 即使参数 \'log\' 的位置正确。

 

实践

LOAD DATA

INFILE \'result/stat-20100821-detail.txt\'

replace

into table LOGDETAILS_20100821 --   insert  append replace

FIELDS TERMINATED BY \' |+-s| \' --字段分割符号

TRAILING NULLCOLS --允许匹配不到的字段

(

  ID            RECNUM  , --RECNUM属性来实现id的自增 如果入库方式是追加一定要使用序列 COUNTERINFO_SEQ.nextval

  IP            ,

  HITTIME       "to_date(:HITTIME, \'YYYY-MM-DD HH24:Mi:SS\')",

  URL           ,

  STATUS        ,

  SIZES         ,

  URL_SOURCE    char(1024),

  TOOLS         char(1024),

  SERVERINFO    ,

  SYSTEM_ID     ,

  SOURCETYPE_ID ,

  SERVERSOURCE 

)

整理问题

value used for ROWS parameter changed from 64 to 58

Record 49305: Rejected - Error on table LOGDETAILS_20100822, column SERVERSOURCE.

ORA-12899: value too large for column "LOGANALYSER"."LOGDETAILS_20100822"."SERVERSOURCE" (actual: 71, maximum: 50)

Record 49561: Rejected - Error on table LOGDETAILS_20100822, column SERVERSOURCE.--字段长度

ORA-12899: value too large for column "LOGANALYSER"."LOGDETAILS_20100822"."SERVERSOURCE" (actual: 71, maximum: 50)

ORA-01653: unable to extend table LOGANALYSER.LOGDETAILS_20100822 by 128 in tablespace TBS_LOGANALYSER --表空间配额不足

SQL*Loader-605: Non-data dependent ORACLE error occurred -- load discontinued.

特殊说明

使用SQLLOAD导入数据时四种装入方式导入数据

     APPEND //原先的表有数据就加在后面

     INSERT // 装载空表,如果原先的表有数据SQLLOADER会停止默认值

     REPLACE // 原先的表有数据 原先的数据会全部删除

     TRUNCATE // 指定的内容和REPLACE的相同会用TRUNCATE语句删除

使用SQLLOAD导入数据时 不导入从文件头开始的指定行数据：sqlldr

         region CONSTANT \'31\',

         time_loaded "to_char(SYSDATE, \'HH24:MI\')",

         data1 POSITION(1:5) ":data1/100",

         data2 POSITION(6:15) "upper(:data2)",

         data3 POSITION(16:22)"to_date(:data3, \'YYMMDD\')" --还可以DATE DD/MM/YYYY

       )

使用SQL*LOAD一次导入多个文件到同一个表:

     LOAD DATA

     INFILE file1.dat

     INFILE file2.dat

     INFILE file3.dat

     APPEND

     INTO TABLE emp

      (  empno POSITION(1:4) INTEGER EXTERNAL, --字段长度确定时，使用POSITION定位

         ename POSITION(6:15) CHAR,

         deptno POSITION(17:18) CHAR,

         mgr POSITION(20:23) INTEGER EXTERNAL

      )

使用when条件指定SQL*LOAD将一个文件导入不同的表: INTO TABLE tablename WHEN filed = \'条件\'

使用SQL*LOAD有选择性的导入数据到一个或多个表中：

     注:

     SQL*LOAD不允许在when语句中使用OR...只能使用AND

     (01) 表示数据文件中的第一个字符

     (30:37) 表示数据文件中第30-37个字符

     LOAD DATA

     INFILE \'mydata.dat\' BADFILE \'mydata.bad\' DISCARDFILE \'mydata.dis\'

     APPEND

     INTO TABLE my_selective_table

     WHEN (01) <> \'H\' and (01) <> \'T\'

     (

          region CONSTANT \'31\',

          service_key POSITION(01:11) INTEGER EXTERNAL,

          call_b_no POSITION(12:29) CHAR

     )

     INTO TABLE my_selective_table

     WHEN (30:37) = \'20031217\'

     (

          region CONSTANT \'31\',

          service_key POSITION(01:11) INTEGER EXTERNAL,

          call_b_no POSITION(12:29) CHAR

     )

使用SQL*LOAD导入数据时,通过在字段上使用关键字过滤数据文件中的指定列： field2 FILLER

使用SQL*LOAD导入数据时,通过使用关键字表示把多行记录合并成一行：CONCATENATE 3

使用SQL*LOAD导入LOB等大对象:

     CREATE TABLE image_table (

          image_id NUMBER(5),

          file_name VARCHAR2(30),

          image_data BLOB);

     LOAD DATA

     INFILE *

     INTO TABLE image_table

     REPLACE

     FIELDS TERMINATED BY \',\'

     (

          image_id INTEGER(5),

          file_name CHAR(30),

          image_data LOBFILE (file_name) TERMINATED BY EOF

     )

     BEGINDATA

     001,image1.gif

     002,image2.jpg

     003,image3.jpg