怎样在Oracle数据库中高速导出/导入

Posted 2023-04-08

迄今为止，导出/导入工具集仍是跨多个平台转移数据所需劳动强度最小的首选实用工具，尽管人们常常抱怨它速度太慢。导入只是将每条记录从导出转储文件中读出来，然后使用常见的 INSERT INTO 命令将其插入到目标表中，因此导入可能是个很慢的过程，这一点并不让人感到吃惊。
进入 Oracle Data Pump，Oracle Database 10g 中的导出/导入工具包的更新更快的同类工具，它被设计来成倍地加速这个过程。
Data Pump 反映了整个导出/导入过程的彻底革新。它不是使用常见的 SQL 命令，而是应用专用 API 来以更快得多的速度加载和卸载数据。在我的测试中，我看到导出性能比在直接模式下提高了 10-15 倍，导入过程性能提高了 5 倍。此外，与使用导出实用工具不同，它还能够只取出特定类型的对象（如过程）。
Data Pump 导出
这个新的实用工具称为 expdp，以和原来的导出 exp 区分开。在本例中，我们将用 Data Pump 来导出一个大表 CASES，大小约为 3GB。Data Pump 在服务器端使用文件处理来创建和读取文件；因此，目录作为位置使用。在这种情况下，我们将使用文件系统 /u02/dpdata1 来保存转储文件。
create directory dpdata1 as /u02/dpdata1;
grant read, write on directory dpdata1 to ananda;
接下来，我们将导出数据：
expdp ananda/abc123 tables=CASES directory=DPDATA1
dumpfile=expCASES.dmp job_name=CASES_EXPORT
让我们来分析该命令的各个部分。用户 ID/口令组合、表和转储文件参数的意义是显而易见的。与原来的导出不同，文件是在服务器（不是客户端）上创建的。位置由目录参数值 DPDATA1 指定，它指向之前创建的 /u02/dpdata1。这个进程还在目录参数指定的位置上创建一个日志文件（同样在服务器上）。默认地，这个进程使用一个名称为 DPUMP_DIR 的目录；因此可以创建它来代替 DPDATA1。
注意上面的参数 job_name，这是个特殊的参数，在原来的导出中没有。所有的 Data Pump 工作都通过作业来完成。Data Pump 作业 — 与 DBMS 作业不同 — 只是服务器进程，它代表主进程处理数据。主进程（称为主控制进程）通过高级队列 (AQ) 来协调这项工作；它通过在运行期内创建的一个特殊的表（称为主表）来实现这个目的。在我们的例子中，如果您在 expdp 运行时检查用户 ANANDA 的模式 ，您将注意到一个表 CASES_EXPORT 的存在（对应参数 job_name）。当 expdp 结束时，这个表被丢弃。
导出监控
当 Data Pump Export (DPE) 运行时，按 Control-C；它将阻止消息在屏幕上显示，但不停止导出进程本身。相反，它将显示 DPE 提示符（如下所示）。进程现在被认为处于“交互式”模式：
Export>
这种方法允许在这个 DPE 作业上输入几条命令。要查看概要，在提示符下使用 STATUS 命令：
Export> status
Job:CASES_EXPORT
Operation:EXPORT
Mode:TABLE
State:EXECUTING
Degree: 1
Job Error Count: 0
Dump file:/u02/dpdata1/expCASES.dmp
bytes written =　2048
Worker 1 Status:
State：EXECUTING
Object Schema:DWOWNER
Object Name:CASES
Object Type:TABLE_EXPORT/TBL_TABLE_DATA/TABLE/TABLE_DATA
Completed Objects: 1
Total Objects: 1
Completed Rows: 4687818
记住，这只是状态显示。导出在后台工作。要继续在屏幕上查看消息，从 Export> 提示符下使用命令 CONTINUE_CLIENT。
并行操作
您可以通过 PARALLEL 参数为导出使用一个以上的线程来显着地加速作业。每个线程创建一个单独的转储文件，因此参数 dumpfile 应当拥有和并行度一样多的项目。您可以指定通配符作为文件名，而不是显式地输入各个文件名，例如：
expdp ananda/abc123 tables=CASES directory=DPDATA1
dumpfile=expCASES_%U.dmp parallel=4 job_name=Cases_Export
注意 dumpfile 参数拥有一个通配符 %U，它指示文件将按需要创建，格式将为 expCASES_nn.dmp，其中 nn 从 01 开始，然后按需要向上增加。
在并行模式下，状态屏幕将显示四个工作进程。（在默认模式下，只有一个进程是可见的。）所有的工作进程同步取出数据，并在状态屏幕上显示它们的进度。
分离访问数据文件和转储目录文件系统的输入/输出通道是很重要的。否则，与维护 Data Pump 作业相关的开销可能超过并行线程的效益，并因此而降低性能。并行方式只有在表的数量多于并行值并且表很大时才是有效的。
数据库监控
您还可以从数据库视图获得关于运行的 Data Pump 作业的更多信息。监控作业的主视图是 DBA_DATAPUMP_JOBS，它将告诉您在作业上有多少个工作进程（列 DEGREE）在工作。另一个重要的视图是 DBA_DATAPUMP_SESSIONS，当它与上述视图和 V$SESSION 结合时将给出主前台进程的会话 SID。
select sid, serial#
from v$session s, dba_datapump_sessions d
where s.saddr = d.saddr;
这条指令显示前台进程的会话。更多有用的信息可以从警报日志中获得。当进程启动时，MCP 和工作进程在警报日志中显示如下：
kupprdp:master process DM00 started with pid=23,
OS id=20530 to execute -
SYS.KUPM$MCP.MAIN(CASES_EXPORT, ANANDA);
kupprdp:worker process DW01 started with worker
id=1, pid=24, OS id=20532 to execute -
SYS.KUPW$WORKER.MAIN(CASES_EXPORT, ANANDA);
kupprdp:worker process DW03 started with worker
id=2, pid=25, OS id=20534 to execute -
SYS.KUPW$WORKER.MAIN(CASES_EXPORT, ANANDA);
它显示为数据泵操作启动的会话的 PID。您可以用以下查询找到实际的 SID：
select sid, program from v$session where paddr in
(select addr from v$process where pid in (23,24,25));
PROGRAM 列将对应警报日志文件中的名称显示进程 DM （为主进程）或 DW （为工作进程）。如果一个工作进程使用了并行查询，比如说 SID 23，您可以在视图 V$PX_SESSION 中看到它，并把它找出来。它将为您显示从 SID 23 代表的工作进程中运行的所有并行查询会话：
select sid from v$px_session where qcsid = 23;
从视图 V$SESSION_LONGOPS 中可以获得其它的有用信息来预测完成作业将花费的时间。
select sid, serial#, sofar, totalwork
from v$session_longops
where opname = CASES_EXPORT
and sofar != totalwork;
列 totalwork 显示总工作量，该列的 sofar 数量被加和到当前的时刻 — 因而您可以用它来估计还要花多长时间。
Data Pump 导入
不过，数据导入性能是 Data Pump 真正出色的地方。要导入先前导出的数据，我们将使用
impdp ananda/abc123 directory=dpdata1
dumpfile=expCASES.dmp job_name=cases_import
导入进程的默认行为是创建表和所有相关的对象，然后在表已存在时产生一个错误。如果您想把数据添加到一个现有的表中，您可以在上述命令行中使用 TABLE_EXISTS_ACTION=APPEND。
和使用 Data Pump 导入一样，在进程中按 Control-C 将进入 Date Pump Import (DPI) 的交互模式；同样，提示符是 Import>。
处理特定对象
您是否有过只需要从一个用户导出特定的过程，以在一个不同的数据库或用户中重新创建这些过程的情况？与传统的导出实用工具不同，Data Pump 允许您只导出特定类型的对象。例如，以下命令让您只导出过程，而不导出其它任何东西 — 不导出表、视图、甚至函数：
expdp ananda/iclaim directory=DPDATA1
dumpfile=expprocs.dmp include=PROCEDURE
要只导出一些特定的对象 — 比如说，函数 FUNC1 和过程 PROC1 — 您可以使用
expdp ananda/iclaim directory=DPDATA1 dumpfile=expprocs.dmp
include=PROCEDURE:"=PROC1\\",FUNCTION:"=FUNC1\\"
这个转储文件充当了源对象的一个备份。您甚至可以用它来创建 DDL 脚本，以供之后使用。一个称为 SQLFILE 的特殊参数允许创建 DDL 脚本文件。
impdp ananda/iclaim directory=DPDATA1
dumpfile=expprocs.dmp sqlfile=procs.sql
该指令在 DPDATA1 指定的目录中创建一个名称为 procs.sql 的文件，并将对象的脚本包含在导出转储文件中。这种方法帮助您快速地在另一个模式中创建源对象。
利用参数 INCLUDE 允许您从转储文件中定义要包含或排除的对象。您可以使用子句 INCLUDE=TABLE:"LIKE TAB%" 来仅导出那些名称以 TAB 开头的表。类似地，您可以使用结构 INCLUDE=TABLE:"NOT LIKE 参考技术A 使用impdp和expdp导入，导出。

oracle exp不能导出空表，怎样才能导出空表的结构呢？imp怎么导入空表结构？

--空表不能导出是因为11g中的不曾插入数据的空表是不分配存储单元的，当前用户下直接执行：select 'alter table '||table_name||' allocate extent;' from user_tables where num_rows=0，得到的结果是“‘给当前用户下的空表分配空间’的语句”，导出或复制这些语句，直接执行这些语句，然后再次执行导出语句，就能导出所有表（包含空表），直接导入就好了，就会包含所有空表 参考技术A E:\Temp>exp -help

关键字 说明(默认) 关键字 说明(默认)
------------------------------------------------------------------------
USERID 用户名/口令 FULL 导出整个文件 (N)
BUFFER 数据缓冲区大小 OWNER 所有者用户名列表
FILE 输出文件 (EXPDAT.DMP) TABLES 表名称列表
COMPRESS 导入到一个区 (Y) RECORDLENGTH IO 记录的长度
GRANTS 导出权限 (Y) INCTYPE 增量导出类型
INDEXES 导出索引 (Y) RECORD 跟踪增量导出 (Y)
DIRECT 直接路径 (N) TRIGGERS 导出触发器 (Y)
LOG 屏幕输出的日志文件 STATISTICS 分析对象 (ESTIMATE)
ROWS 导出数据行 (Y)

你尝试 exp 的时候， 增加一个 ROWS=N 的参数看看？追问

可是我导入不了空表结构

参考技术B 在导出和导入的时候使用参数 ROWS=N就可以了。追问

导出时生成了dmp文件，但是显示这个表不存在
我再将这个dmp导入到另外一个数据库，也没有导入成功

追答

11g么？这个表没有数据吧？
11g有一个情况，有一个参数默认如果一张表没有数据，就不给它分配空间，那么导出的时候就不导出这张表。
复杂的处理办法是修改参数，然后重启数据库，然后重新建立这张表。
简单的办法就是往这个表里面插入一条数据，然后提交，再把这条数据删除了，在提交。
参数的名字是：deferred_segment_creation 可以查询一下。

追问

好像是的 我往表里插入一条数据就可以导入导出了 ，嘿嘿，谢谢你哈

本回答被提问者采纳 参考技术C 导出时加一个参数rows=n就导出表结构，不导数据 参考技术D 把所有的空表
alter table 表名 allocate extent;
改了后，再导出，用的是oracle 11g吧