[重庆思庄每日技术分享]-expdp按日期导出表

Posted 2023-04-08

参考技术A 根据需要导出某些表一定时间内的数据，可以采用query参数添加条件

expdp \'/ as sysdba\' directory=EXP dumpfile=exp.dmp logfile=exp.log tables=test.TIMETEST query=\"where TEST_TIME \>to_date\(\'2021-09-18\',\'yyyy-mm-dd\'\)\"

这样使用需要格外注意转义符，不然就会报错

也可以采用parfile方式减少出错：

expdp test/test parfile=exp_query.par

exp_query.par:

QUERY="WHERE TEST_TIME > to_date('2021-09-18','yyyy-mm-dd')"

LOGFILE=exp.log

DIRECTORY=EXP

DUMPFILE=exp.dmp

对于有时间字段的表可以通过query导出特定时间的数据

同样拥有其他字段的表也可以通过query条件导出符合条件的数据

数据泵EXPDP导出工具和IMPDP导入工具的使用

数据泵EXPDP导出工具和IMPDP导入工具的使用 

 

 

一、EXPDP和IMPDP使用说明

Oracle Database 10g引入了最新的数据泵(Data Dump)技术，数据泵导出导入(EXPDP和IMPDP)的作用

1）实现逻辑备份和逻辑恢复。

2）在数据库用户之间移动对象。

3）在数据库之间移动对象。

4）实现表空间搬移。

 

二、数据泵导出导入与传统导出导入的区别

在10g之前，传统的导出和导入分别使用EXP工具和IMP工具，从10g开始,不仅保留了原有的EXP和IMP工具，还提供了数据泵导出导入工具EXPDP和IMPDP。使用EXPDP和IMPDP时应该注意的事项：

1）EXP和IMP是客户端工具程序,它们既可以在可以客户端使用,也可以在服务端使用。

2）EXPDP和IMPDP是服务端的工具程序,他们只能在ORACLE服务端使用,不能在客户端使用。

3）IMP只适用于EXP导出文件,不适用于EXPDP导出文件;IMPDP只适用于EXPDP导出文件,而不适用于EXP导出文件。

4）数据泵导出包括按表导出，按用户导出，按表空间导出，按数据库导出4种方式。

 

三、EXPDP参数说明

EXPDP命令行选项，可通过expdp help=y查看：

E:\emp>expdp help=y

 

1）ATTACH

该选项用于在客户会话与已存在导出作用之间建立关联.语法如下

ATTACH=[schema_name.]job_name

Schema_name用于指定方案名,job_name用于指定导出作业名。注意，如果使用ATTACH选项在命令行除了连接字符串和ATTACH选项外,不能指定任何其他选项,示例如下:

$ expdp scott/tiger ATTACH=scott.export_job;

 

2）CONTENT

该选项用于指定要导出的内容.默认值为ALL

CONTENT={ALL | DATA_ONLY | METADATA_ONLY}

当设置CONTENT为ALL 时,将导出对象定义及其所有数据.为DATA_ONLY时,只导出对象数据,为METADATA_ONLY时,只导出对象定义

$ expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dump CONTENT=METADATA_ONLY;

 

3）DIRECTORY

指定转储文件和日志文件所在的目录

DIRECTORY=directory_object

Directory_object用于指定目录对象名称.需要注意,目录对象是使用CREATE DIRECTORY语句建立的对象,而不是OS 目录

$ expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dump;

创建目录

SQL> create directory dump_dir as ‘d:\dump‘;
SQL> grant read,write on directory dump_dir to scott;

查询创建了那些子目录:

SQL> SELECT * FROM dba_directories;

 

4）DUMPFILE

用于指定转储文件的名称,默认名称为expdat.dmp

DUMPFILE=[directory_object:]file_name [,….]

Directory_object用于指定目录对象名,file_name用于指定转储文件名.需要注意,如果不指定directory_object,导出工具会自动使用DIRECTORY选项指定的目录对象

$ expdp scott/tiger DIRECTORY=dump1 DUMPFILE=dump2:a.dmp;

 

5）EXTIMATE

指定估算被导出表所占用磁盘空间分方法.默认值是BLOCKS

EXTIMATE={BLOCKS | STATISTICS}

设置为BLOCKS时,oracle会按照目标对象所占用的数据块个数乘以数据块尺寸估算对象占用的空间,设置为STATISTICS时,根据最近统计值估算对象占用空间

$expdp scott/tiger TABLES=emp ESTIMATE=STATISTICS DIRECTORY=dump DUMPFILE=a.dump;

 

6）EXTIMATE_ONLY

指定是否只估算导出作业所占用的磁盘空间,默认值为N

EXTIMATE_ONLY={Y | N}

设置为Y时,导出作用只估算对象所占用的磁盘空间,而不会执行导出作业,为N时,不仅估算对象所占用的磁盘空间,还会执行导出操作.

$expdp scott/tiger ESTIMATE_ONLY=y NOLOGFILE=y;

 

7）EXCLUDE

该选项用于指定执行操作时释放要排除对象类型或相关对象

EXCLUDE=object_type[:name_clause] [,….]

Object_type用于指定要排除的对象类型,name_clause用于指定要排除的具体对象.EXCLUDE和INCLUDE不能同时使用

$expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dup EXCLUDE=VIEW;

 

8）FLASHBACK_SCN

指定导出特定SCN时刻的表数据

FLASHBACK_SCN=scn_value

Scn_value用于标识SCN值.FLASHBACK_SCN和FLASHBACK_TIME不能同时使用

$expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dmp FLASHBACK_SCN=358523;

 

9）FLASHBACK_TIME

指定导出特定时间点的表数据

FLASHBACK_TIME="TO_TIMESTAMP(time_value)"

$ expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dmp FLASHBACK_TIME="TO_TIMESTAMP(‘25-08-200414:35:00‘,‘DD-MM-YYYYHH24:MI:SS‘)"

 

10）FULL

指定数据库模式导出,默认为N

FULL={Y | N}

为Y时,标识执行数据库导出

 

11）HELP

指定是否显示EXPDP命令行选项的帮助信息,默认为N

当设置为Y时,会显示导出选项的帮助信息.

Expdp help=y

 

12）INCLUDE

指定导出时要包含的对象类型及相关对象

INCLUDE = object_type[:name_clause] [,… ]

 

13）JOB_NAME

指定要导出作用的名称,默认为SYS_XXX

JOB_NAME=jobname_string

 

14）LOGFILE

指定导出日志文件文件的名称,默认名称为export.log

LOGFILE=[directory_object:]file_name

Directory_object用于指定目录对象名称,file_name用于指定导出日志文件名.如果不指定directory_object.导出作用会自动使用DIRECTORY的相应选项值.

Expdp scott/tiger DIRECTORY=dump DUMPFILE=a.dmp logfile=a.log

 

15）NETWORK_LINK

指定数据库链名,如果要将远程数据库对象导出到本地例程的转储文件中,必须设置该选项

 

16）NOLOGFILE

该选项用于指定禁止生成导出日志文件,默认值为N

 

17）PARALLEL

指定执行导出操作的并行进程个数,默认值为1

 

18）PARFILE

指定导出参数文件的名称

PARFILE=[directory_path] file_name

 

19）QUERY

用于指定过滤导出数据的where条件

QUERY=[schema.] [table_name:] query_clause

Schema用于指定方案名,table_name用于指定表名,query_clause用于指定条件限制子句.QUERY选项不能与CONNECT=METADATA_ONLY,EXTIMATE_ONLY,TRANSPORT_TABLESPACES等选项同时使用

$ expdp scott/tiger directory=dump dumpfiel=a.dmp Tables=emp query=’WHERE deptno=20’

20）SCHEMAS

该方案用于指定执行方案模式导出,默认为当前用户方案

 

21）STATUS

指定显示导出作用进程的详细状态,默认值为0

 

22）TABLES

指定表模式导出

TABLES=[schema_name.]table_name[:partition_name][,…]

Schema_name用于指定方案名,table_name用于指定导出的表名,partition_name用于指定要导出的分区名

 

23）TABLESPACES

指定要导出表空间列表

 

24）TRANSPORT_FULL_CHECK

该选项用于指定被搬移表空间和未搬移表空间关联关系的检查方式,默认为N.

当设置为Y时,导出作用会检查表空间直接的完整关联关系,如果表空间所在表空间或其索引所在的表空间只有一个表空间被搬移,将显示错误信息.当设置为N时,导出作用只检查单端依赖,如果搬移索引所在表空间,但未搬移表所在表空间,将显示出错信息,如果搬移表所在表空间,未搬移索引所在表空间,则不会显示错误信息

 

25）TRANSPORT_TABLESPACES

指定执行表空间模式导出

 

26）VERSION

指定被导出对象的数据库版本,默认值为COMPATIBLE.

VERSION={COMPATIBLE | LATEST |version_string}

为COMPATIBLE时,会根据初始化参数COMPATIBLE生成对象元数据;为LATEST时,会根据数据库的实际版本生成对象元数据.version_string用于指定数据库版本字符串

 

四、EXPDP实战案例

    使用EXPDP工具时,其转储文件只能被存放在DIRECTORY对象对应的OS目录中,而不能直接指定转储文件所在的OS目录.因此,使用EXPDP工具时,必须首先建立DIRECTORY对象.并且需要为数据库用户授予使用DIRECTORY对象权限。

操作步骤如下：

>>命令行打开sqlplus

sqlplus /nolog
conn / as sysdba

>>创建逻辑目录，该命令不会在操作系统创建真正的目录（最好手工先建好），最好以administrator等管理员创建。

SQL>create directory dir as ‘d:\dump‘; --dir名称可以随便命名 需要手工创建d:\dump

>>查看管理理员目录（同时查看操作系统中是否存在，因为Oracle并不关心该目录是否存在，如果不存在，则出错）

SQL>select * from dba_directories;

>>给scott用户赋予在指定目录的操作权限，最好以sys,system等管理员赋予。

SQL>grant read,write on directory dir to scott;

 

1）按表导出表

$ expdp scott/tiger directory=dump_dir DUMPFILE=dept.dmp TABLES=dept;

>>多表导出用逗号分隔：

$ expdp scott/tiger tables=emp,dept dumpfile=expdp.dmp directory=dump_dir;

>>注：在unix下要注意directory目录的读写权限问题，如：

看dump_dir所在的目录：用sys用户查看数据字典dba_directories

更该该文件夹的权限：chown -R oracle:dba /dump_dir,问题解决。

 

2）按用户导出

$ expdp scott/tiger directory=dump_dir dumpfile=schema.dmp logfile=schema.log schemas=system;

 

3）按表空间导出

$ expdp scott/tiger directory=dump_dir dumpfile=tb.dmp logfile=tb.log tablespaces=users

 

4）全库导出

$ expdp system/manager directory=dump_dir dumpfile=full.dmp full=Y;
$ expdp scott/tiger directory=dump_dir dumpfile=full.dmp full=Y;

注：提示scott用户没有相应的权限，给scott相应的权限或使用system来做全库导出 。

SQL> grant exp_full_database to scott;
Grant succeeded.

 

5）并行进程parallel导出

$ expdp scott/[email protected] directory=dump_dir dumpfile=scott3.dmp parallel=40 job_name=scott3;

 

6）按查询条件导

$ expdp scott/tiger directory=dump_dir dumpfile=expdp.dmp Tables=emp query=‘WHERE deptno=20‘;

 

五、IMPDP参数说明

IMPDP与EXPDP的不同参数:

 

1）REMAP_DATAFILE

该选项用于将源数据文件名转变为目标数据文件名,在不同平台之间搬移表空间时可能需要该选项.

REMAP_DATAFIEL=source_datafie:target_datafile

 

2）REMAP_SCHEMA

该选项用于将源方案的所有对象装载到目标方案中.

REMAP_SCHEMA=source_schema:target_schema

 

3）REMAP_TABLESPACE

将源表空间的所有对象导入到目标表空间中

REMAP_TABLESPACE=source_tablespace:target:tablespace

 

4）REUSE_DATAFILES

该选项指定建立表空间时是否覆盖已存在的数据文件.默认为N

REUSE_DATAFIELS={Y | N}

 

5）SKIP_UNUSABLE_INDEXES

指定导入是是否跳过不可使用的索引,默认为N

 

6）SQLFILE

指定将导入要指定的索引DDL操作写入到SQL脚本中

SQLFILE=[directory_object:]file_name

$ impdp scott/tiger DIRECTORY=dump DUMPFILE=tab.dmp SQLFILE=a.sql

 

7）STREAMS_CONFIGURATION

指定是否导入流元数据(StreamMatadata),默认值为Y.

 

8）TABLE_EXISTS_ACTION

该选项用于指定当表已经存在时导入作业要执行的操作,默认为SKIP

TABBLE_EXISTS_ACTION={SKIP | APPEND |TRUNCATE | FRPLACE }

当设置该选项为SKIP时,导入作业会跳过已存在表处理下一个对象;当设置为APPEND时,会追加数据,为TRUNCATE时,导入作业会截断表,然后为其追加新数据;当设置为REPLACE时,导入作业会删除已存在表,重建表并追加数据,注意,TRUNCATE选项不适用与簇表和NETWORK_LINK选项

 

9）TRANSFORM

该选项用于指定是否修改建立对象的DDL语句

TRANSFORM=transform_name:value[:object_type]

Transform_name用于指定转换名,其中SEGMENT_ATTRIBUTES用于标识段属性(物理属性,存储属性,表空间,日志等信息),STORAGE用于标识段存储性,VALUE用于指定是否包含段属性或段存储属性,object_type用于指定对象类型.

$ impdp scott/tiger directory=dump dumpfile=tab.dmp Transform=segment_attributes:n:table

 

10）TRANSPORT_DATAFILES

该选项用于指定搬移空间时要被导入到目标数据库的数据文件

TRANSPORT_DATAFILE=datafile_name

Datafile_name用于指定被复制到目标数据库的数据文件

$ impdp system/manager DIRECTORY=dump DUMPFILE=tts.dmp TRANSPORT_DATAFILES=‘/user01/data/tbs1.f‘

 

六、IMPDP 实战案例

1）按表导入

>>删除用户scott的emp表，在full.dmp中导入emp到用户scott

$ impdp backup/backup1 directory=dump_dir dumpfile=full.dmp tables=scott.emp remap_schema=scott:scott

>>将scott.test表导入的SYSTEM用户下

$ impdp backup/backup1 directory=dump_dir dumpfile=full.dmp tables=scott.test remap_schema=scott:system

注意,如果要将表导入到其他方案中,必须指定REMAP SCHEMA选项

 

2）导到指定用户下

>>按用户导入

impdp scott/[email protected] DIRECTORY=dump_dir DUMPFILE=expdp.dmp SCHEMAS=scott logfile=impdp.log；

>>导入时将scott用户所属对象转换为system用户

$ impdp system/manager DIRECTORY=dump_dir DUMPFILE=schema.dmp SCHEMAS=scott REMAP_SCHEMA=scott:system;

 

3）按表空间导入

$ impdp system/manager DIRECTORY=dump_dir DUMPFILE=tablespace.dmp TABLESPACES=user01

4）全库导入

$ impdp system/manager DIRECTORY=dump_dir DUMPFILE=full.dmp FULL=y

5）expdp/impdp 不同用户，不同表空间的使用

>>假设a用户的默认表空间是a，导出用户a所有数据：

SQL> conn / as sysdba
SQL> create directory dir as ‘/home/oracle/‘;
SQL> grant read,write on directory dir to system;

$ expdp system/oracle directory=dir dumpfile=data.dmp schemas=a logfile=data.log

>>impdp导入a用户所有数据到b，并且转换表空间a为b：

SQL> conn sys / as sysdba
SQL> create directory dir as ‘/home/oracle/‘;
SQL> grant read,write on directory dir to system;

$ impdp system/oracle directory=dir dumpfile=data.dmp remap_tablespace=a:b remap_schema=a:b logfile=data.log

>>解释：

remap_schema=a:b 将数据的schema从a 转换为b

remap_tablespace=a:b 将数据的tablespace 从a 转换为b

>>注意：

如果oracle是10g的，要加参数 EXCLUDE=TABLE_STATISTICS 选项将 table_statistics 对象过滤。 否则会出现数据泵导入中table_statistics长时间等待、用impdp 导入，检查 table_statistics 时等待了很长时间。

>>总结：

执行impdp时无需创建b用户，在导入时会自动创建并改名用户a为b（拥有a的所有权限等），自动设置默认表空间为转换后的表空间b。如果有多个表空间需要转换，则使用多个remap_tablespace=源表空间：目标表空间。此种方法只限于支持oracle10g以上版本。

 

6）在全库备份文件中导入一张表到数据库

$ impdp backup/backup1 directory=PUMP_DIR dumpfile=expdp.dmp  include=table:\"=\‘T_DEPT\‘\"  logfile=impdp.log table_exists_action=replace;

 

7）在全库备份文件中导入一张表并转换表空间和owner

$impdp backup/backup1 directory=dump_dir dumpfile=expdp.dmp tables=
T_DEPT REMAP_TABLESPACE=DATA:USERS remap_schema=scott:system table_exists_action=replace;

 

8）通过dblink远程导入

$ impdp system/admin directory=mydir network_link=dblink16_zk schemas=lgb_zk remap_schema=lgb_zk:lgb_zk logfile=lgbzk1018.log PARALLEL=2

 

9）通过dblink指定参数文件远程导入

>>参数说明

NETWORK_LINK=dblink

schemas=源用户

remap_schema=源用户:目标用户

PARALLEL=2

EXCLUDE=TABLE:"IN(‘A‘,‘B‘,‘C‘,‘D‘)"  排除的表

>>通过参数文件远程导入

vim mypar.par
network_link=dblink16
schemas=zs2new
remap_schema=zs2new:zs2new
EXCLUDE=TABLE:"IN(‘T_PHOTO‘,‘BAK_T_RC_JZZ_XX‘,‘BAK_T_SYS_USER_ROLE‘,‘DIFER_T_DIC_CITY‘,‘DIFFER_T_DIC_COUNTY‘,‘PPP‘)"
PARALLEL=2

$ impdp system/admin directory=mydir parfile=h:\dump\mypar.par;