OracleExpImp导入导出工具性能调优

Posted 2023-05-12

参考技术A

　　 Exp调优

　　 使用DIRECT和RECORDLENGTH选项

　　DIRECT参数定义了导出是使用直接路径方式(DIRECT=Y) 还是常规路径方式(DIRECT=N) 常规路径导出使用SQL SELECT语句从表中抽取数据 直接路径导出则是将数据直接从磁盘读到PGA再原样写入导出文件 从而避免了SQL命令处理层的数据转换过程 大大提高了导出效率 在数据量大的情况下 直接路径导出的效率优势更为明显 可比常规方法速度提高三倍之多

　　和DIRECT=Y配合使用的是RECORDLENGTH参数 它定义了Export I/O缓冲的大小 作用类似于常规路径导出使用的BUFFER参数 建议设置RECORDLENGTH参数为最大I/O缓冲 即 ( kb) 其用法如下

　　       exp userid=system/manager full=y direct=y recordlength= file=exp_full dmp log=exp_full log　　直接路径导出根据Oracle版本不同 有一些使用限制 比较重要的限制有 i及以下版本不支持导出客户端和数据库的字符集转换 因此导出前必须保证NLS_LANG设置正确; 及以下版本不支持导出含LOBs对象的表;不能使用QUERY参数等

　　 使用管道技术

　　管道是从一个程序进程向另一个程序进程单向传送信息的技术 通常 管道把一个进程的输出传给另一进程作为输入 如果导出的数据量很大 可以利用管道直接生成最终的压缩文件 所耗费的时间和不压缩直接导出的时间相当 这样一来 不仅能够解决磁盘空间不足的问题 而且省去了单独压缩文件的时间;如果需要传输导出文件 还可以减少网络传输的时间 比如 一个 G的文件单独压缩可能需要半小时以上的时间 虽然管道技术不能够直接缩短Exp/Imp本身的时间 但节省出来的压缩时间非常可观 管道和Exp结合的具体使用方法如下

　　导出数据示例

　　

　　      % mknod /tmp/exp_pipe p # Make the pipe

　　% press < /tmp/exp_pipe > export dmp Z & # Background press

　　% exp file=/tmp/exp_pipe # Export to the pipe

　　 Imp调优

　　Oracle Import进程需要花比Export进程数倍的时间将数据导入数据库 某些关键时刻 导入是为了应对数据库的紧急故障恢复 为了减少宕机时间 加快导入速度显得至关重要 没有特效办法加速一个大数据量的导入 但我们可以做一些适当的设定以减少整个导入时间

　　 使用管道技术

　　前面已经说明了Exp时如何使用管道 在导入时管道的作用是相同 不仅能够解决磁盘空间不足的问题 而且省去了单独解压缩文件的时间 在大数据量导入导出的时候 推荐一定要使用管道

　　导入数据示例

　　       % mknod /tmp/imp_pipe p # Make the pipe

　　% unpress < export dmp Z > /tmp/imp_pipe & # Background unpress

　　% imp file=/tmp/imp_pipe # Import from the pipe

　　2.2 避免I/O竞争

　　Import是一个I/O密集的操作，避免I/O竞争可以加快导入速度。Tw.WiNGwIt.如果可能，不要在系统高峰的时间导入数据，不要在导入数据时运行job等可能竞争系统资源的操作。

　　2.3 增加排序区

　　Oracle Import进程先导入数据再创建索引，不论INDEXES值设为YES或者NO，主键的索引是一定会创建的。创建索引的时候需要用到排序区，在内存大小不足的时候，使用临时表空间进行磁盘排序，由于磁盘排序效率和内存排序效率相差好几个数量级。增加排序区可以大大提高创建索引的效率，从而加快导入速度。

　　8i及其以下版本：导入数据前增加数据库的sort_area_size大小，可设为正常值的5-10倍。但这个值设定会影响到所有会话，设的过高有可能导致内存不足出现paging, swapping现象。更为稳妥的方法是，对于大表和索引特别多的表，只导数据不导索引。导完数据后，创建一个会话，设定当前会话的sort_area_size一个足够大的值，再手工创建索引。

　　9i：在workarea_size_policy=AUTO的情况下，所有会话的UGA共用pga_aggregate_target定义的内存，不必单独设定sort_area_size。导入数据前增加pga_aggregate_target大小，如果机器内存够大，可从通常设定的500M提高到1-2G。pga_aggregate_target大小可以动态调整，导入完成后可在线调回原值。

　　2.4 调整BUFFER选项

　　Imp参数BUFFER定义了每一次读取导出文件的数据量，设的越大，就越减少Import进程读取数据的次数，从而提高导入效率。BUFFER的大小取决于系统应用、数据库规模，通常来说，设为百兆就足够了。其用法如下：

　　       imp user2/pwd fromuser=user1 touser=user2 file=/tmp/imp_db_pipe1 mit=y feedback=10000 buffer=10240000　　2.5 使用MIT=Y选项

　　MIT=Y表示每个数据缓冲满了之后提交一次，而不是导完一张表提交一次。这样会大大减少对系统回滚段等资源的消耗，对顺利完成导入是有益的。

　　2.6 使用INDEXES=N选项

　　前面谈到增加排序区时，说明Imp进程会先导入数据再创建索引。导入过程中建立用户定义的索引，特别是表上有多个索引或者数据表特别庞大时，需要耗费大量时间。某些情况下，需要以最快的时间导入数据，而索引允许后建，我们就可以使用INDEXES=N 只导入数据不创建索引，从而加快导入速度。

　　我们可以用INDEXFILE选项生成创建索引的DLL脚本，再手工创建索引。我们也可以用如下的方法导入两次，第一次导入数据，第二次导入索引。其用法如下：

　　       imp user2/pwd fromuser=user1 touser=user2 file=/tmp/imp_db_pipe1 mit=y feedback=10000 buffer=10240000 ignore=y rows=y indexes=n

　　imp user2/pwd fromuser=user1 touser=user2 file=/tmp/imp_index_pipe1 mit=y feedback=10000 buffer=10240000 ignore=y rows=n indexes=y

　　2.7 增加LARGE_POOL_SIZE

　　如果在init.ora中配置了MTS_SERVICE，MTS_DISPATCHERS等参数，tnsnames.ora中又没有(SERVER=DEDICATED)的配置，那么数据库就使用了共享服务器模式。在MTS模式下，Exp/Imp操作会用到LARGE_POOL，建议调整LARGE_POOL_SIZE到150M。

　　检查数据库是否在MTS模式下：

　　SQL>select distinct server from v$session;

lishixinzhi/Article/program/Oracle/201311/18115

记一次性能调优

说到性能调优，给人的感觉往往都是修炼有成的专家干得事了，对于我们这些菜鸟还是想也不要想了，做好分内事，不出现纰漏就OK了。对于这种观点我表示严肃的否决！那想学习性能调优的童鞋应该从哪里下手呢？接下来就让我们来谈谈关于性能调优你所忽视的一些常识。

　　一、代码；
前文讲过“华为Java编程军规，每季度代码验收标准”这个标准是衡量代码本身的缺陷，也是衡量一个研发人员本身的价值。代码是性能调优中的一粒分子，分子虽小但经过上亿次的分裂也会变成黑洞，所以代码本身的缺陷也是我们性能调优的主因之一。

 1 军规一：【避免在程序中使用魔鬼数字，必须用有意义的常量来标识。】
 2 
 3 军规二：【明确方法的功能，一个方法仅完成一个功能。】
 4 
 5 军规三：【方法参数不能超过5个】
 6 
 7 军规四：【方法调用尽量不要返回null，取而代之以抛出异常，或是返回特例对象（SPECIAL CASE object，SPECIAL CASE PATTERN）；对于以集合或数组类型作为返回值的方法，取而代之以空集合或0长度数组。】
 8 
 9 军规五：【在进行数据库操作或IO操作时，必须确保资源在使用完毕后得到释放，并且必须确保释放操作在finally中进行。】
10 
11 军规六：【异常捕获不要直接catch (Exception ex) ，应该把异常细分处理。】
12 
13 军规七：【对于if „ else if „(后续可能有多个else if …)这种类型的条件判断，最后必须包含一个else分支，避免出现分支遗漏造成错误；每个switch-case语句都必须保证有default，避免出现分支遗漏，造成错误。】
14 
15 军规八：【覆写对象的equals()方法时必须同时覆写hashCode()方法。】
16 
17 军规九：【禁止循环中创建新线程，尽量使用线程池。】
18 
19 军规十：【在进行精确计算时(例如:货币计算)避免使用float和double，浮点数计算都是不精确的，必须使用BigDecimal或将浮点数运算转换为整型运算。】

二、基准；
基准环境，基准负载和基准指标，这是前提也是标准更是依据。没有人能保证每次执行的指标就是真实有效的，今天提交个版本明天升级个环境这是我们不能容忍的。怎么才能基准？什么又叫基准？正式的标准的稳定版本就是基准。也只有基准了，我们才能发现问题。

　　三、硬件；
硬件环境的调整：主要是对系统运行的硬件环境进行调整，包括改变系统运行的服务器、主机设备环境（改用具有更高性能的机器，或是调整某些服务器的物理内存总量，CPU数量等），调整网络环境（更换快速的网络设备，或是采用更高带宽的组网技术）等。

四、系统；
系统设置的调整：主要是对系统运行的基础平台设置进行调整，例如，根据应用需要调整UNIX系统的核心参数，调整数据库的内存池大小，调整应用服务器使用的内存大小，或是采用更高版本的JVM环境等；

注：推荐常有性能测试工具

      性能测试工具：LR、kylinPET

      系统监控工具：nmon 或Linux（top sar）等自带命令

      强烈推荐：Spotlight.On.Oracle 非常不错的工具，谁用谁知道! ^^

　　五、软件；
应用框架的调整：主要是对应用实现本身进行调整，包括选用新的架构、采用新的数据访问或是修改业务逻辑的实现方式等。

注：说到架构我现在正在研究阿里巴巴的Dubbo，有兴趣的朋友可以一起探讨探讨。

“通过dubbo暴露接口调用方法，及基于zookeeper的dubbo涉及配置文件”http://www.cnblogs.com/Javame/p/3645481.html

“基于ZooKeeper的Dubbo注册中心”http://www.cnblogs.com/Javame/p/3632708.html
“最近项目用到Dubbo框架，临时抱佛脚分享一下共探讨”http://www.cnblogs.com/Javame/p/3632473.html

     六、再说系统

ulimit -a 用来显示当前的各种用户进程限制。
Linux对于每个用户，系统限制其最大进程数。为提高性能，可以根据设备资源情况，设置各linux 用户的最大进程数，下面我把某linux用户的最大进程数设为10000个：

ulimit -u 10000

对于需要做许多 socket 连接并使它们处于打开状态的 Java 应用程序而言，最好通过使用 ulimit -n xx 修改每个进程可打开的文件数，缺省值是 1024。
ulimit -n 4096 将每个进程可以打开的文件数目加大到4096，缺省为1024
其他建议设置成无限制（unlimited）的一些重要设置是：

数据段长度：ulimit -d unlimited
最大内存大小：ulimit -m unlimited
堆栈大小：ulimit -s unlimited
CPU 时间：ulimit -t unlimited
虚拟内存：ulimit -v unlimited

　　
暂时地，适用于通过 ulimit 命令登录 shell 会话期间。
永久地，通过将一个相应的 ulimit 语句添加到由登录 shell 读取的文件中， 即特定于 shell 的用户资源文件，如：

1)、解除 Linux 系统的最大进程数和最大文件打开数限制：

    vi /etc/security/limits.conf
    # 添加如下的行
    * soft noproc 11000
    * hard noproc 11000
    * soft nofile 4100
    * hard nofile 4100

 

    说明：* 代表针对所有用户
    noproc 是代表最大进程数
    nofile 是代表最大文件打开数

2)、让 SSH 接受 Login 程式的登入，方便在 ssh 客户端查看 ulimit -a 资源限制：
    a、vi /etc/ssh/sshd_config
       把 UserLogin 的值改为 yes，并把 # 注释去掉
    b、重启 sshd 服务：
       /etc/init.d/sshd restart
3)、修改所有 linux 用户的环境变量文件：

vi /etc/profile
ulimit -u 10000
ulimit -n 4096
ulimit -d unlimited
ulimit -m unlimited
ulimit -s unlimited
ulimit -t unlimited
ulimit -v unlimited

/**************************************

有时候在程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。

修改2个文件。

1./etc/security/limits.conf
    vi /etc/security/limits.conf
    加上：
    * soft nofile 8192
    * hard nofile 20480
2./etc/pam.d/login
    session required /lib/security/pam_limits.so

 *********

    另外确保/etc/pam.d/system-auth文件有下面内容
    session required /lib/security/$ISA/pam_limits.so
    这一行确保系统会执行这个限制。
***********
3.一般用户的.bash_profile
#ulimit -n 1024
重新登陆ok
-------------
对于solaris

其实在系统里面有这样一个命令ulimit，以下是ulimit -a执行的结果：

time(seconds) unlimited
file(blocks) unlimited
data(kbytes) unlimited
stack(kbytes) 8192
coredump(blocks) unlimited
nofiles(descriptors) 1024
memory(kbytes) unlimited

其中nofiles就是文件描述符的变量值，该值受rlim_fd_cur这个参数的影响，可以用ulimit -n number命令来修改。但不管怎么改,程序仍然不能突破fd=256的限制。在Solaris Tunable Parameters Reference Manua这本书里面能查到以下的资料：

A 32-bit program using standard I/O is limited to 256 file descriptors。
A 64-bit program using standard I/O can use up to 2 billion descriptors。
这也就是说32位的程序是没有办法突破这个限制的，只有64位的程序才能使用高达2亿个文件描述符，SUN的软硬件在很早以前就实现了64位的架构，现在唯一要解决的就是将程序编译成64位程序，为了生成64位程序,就必须要有64位的编译器（其实不是这样的）,如果你去www.sunfreeware.com下载64位编译器gcc，网站上没有特别注明是64位的gcc，但是会有个意外的收获，就是该软件的说明里面注明了只要在用gcc编译的时候加上-m64的option就能生成64位程序了。

于是用gcc -m64去编译生成一个64位程序后，用ulimit -n 102400将number of fd设成很大的情况下，所有问题迎刃而解，再也不存在文件描述符不够用的情况。

在/etc/system文件设置rlimi_fc_max和rlim_fd_cur格式如下：

* set hard limit on file descriptors
set rlim_fd_max = 4096
* set soft limit on file descriptors
set rlim_fd_cur = 1024
命令ulimit使用格式如下：

usage: ulimit [ -HSacdfnstv ] [ limit ]
ulimit -a是显示各参数的设置值，ulimit -n是用来设置fd的最大值的。
*************************************************

修改文件描述符限制

Solaris有两个参数控制进程可打开的文件描述符：rlim_fd_max，rlim_fd_cur。前者修改是个硬设置，修改需要权限，后者是个软设置，用户可以limit或者setrlimit() 修改，该值最大不能超过前者。一般我们在/etc/system里修改这两个参数

set rlim_fd_max = 65535

set rlim_fd_cur = 65535

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

ulimit 用于shell启动进程所占用的资源。

可以使用该命令查看进程占用资源的情况。

使用方法：ulimit [-acdfHlmnpsStvw] [size]

-H 设置硬件资源限制.
-S 设置软件资源限制.
-a 显示当前所有的资源限制.
-c size:设置core文件的最大值.单位:blocks
-d size:设置数据段的最大值.单位:kbytes
-f size:设置创建文件的最大值.单位:blocks
-l size:设置在内存中锁定进程的最大值.单位:kbytes
-m size:设置可以使用的常驻内存的最大值.单位:kbytes
-n size:设置内核可以同时打开的文件描述符的最大值.单位:n
-p size:设置管道缓冲区的最大值.单位:kbytes
-s size:设置堆栈的最大值.单位:kbytes
-t size:设置CPU使用时间的最大上限.单位:seconds
-v size:设置虚拟内存的最大值.单位:kbytes 5
1]在RH8的环境文件/etc/profile中,我们可以看到系统是如何配置ulimit的:

#grep ulimit /etc/profile
ulimit -S -c 0 > /dev/null 2>&1    (输出重定向，正常输出和异常输出都忽略)

这条语句设置了对软件资源和对core文件大小的设置
2]如果我们想要对由shell创建的文件大小作些限制,如:

#ll h
-rw-r--r-- 1 lee lee 150062 7月 22 02:39 h
#ulimit -f 100 #设置创建文件的最大块(一块=512字节)
#cat h>newh
File size limit exceeded
#ll newh
-rw-r--r-- 1 lee lee 51200 11月 8 11:47 newh

文件h的大小是150062字节,而我们设定的创建文件的大小是512字节x100块=51200字节

当然系统就会根据你的设置生成了51200字节的newh文件.
Linux性能调优基本策略设定3]可以像实例1]一样,把你要设置的ulimit放在/etc/profile这个环境文件中.
如果针对所有用户设置,可在/etc/security/limits.conf 设置.

copyright by ixdba.

　　简述以上五点，你可以循序渐进依步调优，也可以着重调优，但有一点你却要牢记，那就是软件工程的概论，有一才有二，有因才有果，到头来千万不要拣了芝麻丢了西瓜。