Oracle已有数据表建立表分区—在线重定义

Posted 2020-10-03 ThinkDifferent

    今天在做数据抽取的时候，发现有一张业务表数据量达到了5000W，所以就想将此表改为分区表。分区表的有点如下：

 

1、改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。
2、增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用；
3、维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可；
4、均衡I/O：可以把不同的分区映射到磁盘以平衡I/O，改善整个系统性能。

第一步：首先对要在线重定义的表自行验证，看该表是否可以重定义，如果不可以则会提示错误信息

SQL> execute dbms_redefinition.can_redef_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘);

PL/SQL procedure successfully completed.

第二步：建立和源表一样的分区表。建表语句过长就不粘贴在此处了，这一步可以用pl/sql工具登录建表，避免在SQLPLUS环境下把表建立到sys用户下，导致找不到表。

第三步：执行表的在线重定义；

 

SQL> execute dbms_redefinition.start_redef_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘,‘HDSD00_0203_ZYFYMXB_BAK‘);
PL/SQL procedure successfully completed.

第四步：执行中间表和数据源表的数据同步。

 

SQL> execute dbms_redefinition.sync_interim_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘,‘HDSD00_0203_ZYFYMXB_BAK‘);
PL/SQL procedure successfully completed.

第五步： 执行结束在线定义过程。

 

SQL> execute dbms_redefinition.finish_redef_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘,‘HDSD00_0203_ZYFYMXB_BAK‘);
PL/SQL procedure successfully completed.

补充步骤：第六步：在做在线重定义过程中，可能因为各种各样的原因没有按照上述步骤执行下来，中途中断了。这种情况下在执行上述操作会报类似如下错误：

 

 

SQL> execute dbms_redefinition.can_redef_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘);
BEGIN dbms_redefinition.can_redef_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘); END;
*
ERROR at line 1:
ORA-23539: table "CDR"."HDSD00_0203_ZYFYMXB" currently being redefined
ORA-06512: at "SYS.DBMS_REDEFINITION", line 143
ORA-06512: at "SYS.DBMS_REDEFINITION", line 1635
ORA-06512: at line 1

 这时候我们需要停掉过程重新来才行。

 

SQL> execute dbms_redefinition.abort_redef_table(‘CDR‘,‘HDSD00_0203_ZYFYMXB‘,‘HDSD00_0203_ZYFYMXB_BAK‘);
PL/SQL procedure successfully completed.

还有一种情况当我们表数据量较大时，可能执行上述过程会没有报错也没有反应，此时是系统正在执行上述过程，千万不要退出，耐心等待一会。

 在线重定义也有限制，如下情况不能使用在线重定义：

 

1、你必须有足以维护两份表格拷贝的空间。
2、你不能更改主键栏。表格必须有主键。
3、维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可；必须在同一个大纲中进行表格重定义。
4、在重定义操作完成之前，你不能对新加栏加以NOT NULL约束。
5、表格不能包含LONG、BFILE以及用户类型（UDT）。
6、不能重定义链表（clustered tables）。
7、不能在SYS和SYSTEM大纲中重定义表格。
8、不能用具体化视图日志（materialized view logs）来重定义表格；不能重定义含有具体化视图的表格。
9、不能在重定义过程中进行横向分集（horizontal subsetting）。

--------------------------------------------------------------------------------------------------------------------------------------------------

更多详细请看介绍（转载）：

在一个高可用系统中，如果需要改变一个表的定义是一件比较棘手的问题，尤其是对于7×24系统。Oracle提供的基本语法基本可以满足一般性修改，但是对于把普通堆表改为分区表，把索引组织表修改为堆表等操作就无法完成了。而且，对于被大量DML语句访问的表，幸运的是，Oracle从9i版本开始提供了在线重定义表功能，通过调用DBMS_REDEFINITION包，可以在修改表结构的同时允许DML操作。
在线重定义表具有以下功能：
1.修改表的存储参数；
2.可以将表转移到其他表空间；
3.增加并行查询选项；
4.增加或删除分区；
5.重建表以减少碎片；
6.将堆表改为索引组织表或相反的操作；
7.增加或删除一个列。
调用DBMS_REDEFINITION包需要EXECUTE_CATALOG_ROLE角色，除此之外，还需要CREATE ANY TABLE、ALTER ANY TABLE、DROP ANY TABLE、LOCK ANY TABLE和SELECT ANY TABLE的权限。
在线重定义表的步骤如下：
1.选择一种重定义方法：
存在两种重定义方法，一种是基于主键、另一种是基于ROWID。ROWID的方式不能用于索引组织表，而且重定义后会存在隐藏列M_ROW$$。默认采用主键的方式。
2.调用DBMS_REDEFINITION.CAN_REDEF_TABLE()过程，如果表不满足重定义的条件，将会报错并给出原因。
3.在用一个方案中建立一个空的中间表，根据重定义后你期望得到的结构建立中间表。比如：采用分区表，增加了COLUMN等。
4.调用DBMS_REDEFINITION.START_REDEF_TABLE()过程，并提供下列参数：被重定义的表的名称、中间表的名称、列的映射规则、重定义方法。
如果映射方法没有提供，则认为所有包括在中间表中的列用于表的重定义。如果给出了映射方法，则只考虑映射方法中给出的列。如果没有给出重定义方法，则认为使用主键方式。
5.在中间表上建立触发器、索引和约束，并进行相应的授权。任何包含中间表的完整性约束应将状态置为disabled。
当重定义完成时，中间表上建立的触发器、索引、约束和授权将替换重定义表上的触发器、索引、约束和授权。中间表上disabled的约束将在重定义表上enable。
6.（可选）如果在执行DBMS_REDEFINITION.START_REDEF_TABLE()过程和执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程直接在重定义表上执行了大量的DML操作，那么可以选择执行一次或多次的SYNC_INTERIM_TABLE()过程，以减少最后一步执行FINISH_REDEF_TABLE()过程时的锁定时间。
7.执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程完成表的重定义。这个过程中，原始表会被独占模式锁定一小段时间，具体时间和表的数据量有关。执行完FINISH_REDEF_TABLE()过程后，原始表重定义后具有了中间表的属性、索引、约束、授权和触发器。中间表上disabled的约束在原始表上处于enabled状态。
8.（可选）可以重命名索引、触发器和约束。对于采用了ROWID方式重定义的表，包括了一个隐含列M_ROW$$。推荐使用下列语句经隐含列置为UNUSED状态或删除。
ALTER TABLE TABLE_NAME SET UNUSED (M_ROW$$);
ALTER TABLE TABLE_NAME DROP UNUSED COLUMNS;
下面是进行重定义操作后的结果：
原始表根据中间表的属性和特性进行重定义；
START_REDEF_TABLE()和FINISH_REDEF_TABLE()操作之间在中间表上建立的触发器、索引、约束和授权，现在定义在原始表上。中间表上disabled的约束在原始表上处于enabled状态。
原始表上定义的触发器、索引、约束和授权建立在中间表上，并会在删除中间表时删除。原始表上原来enabled状态的索引，建立在中间表上，并处于disabled状态。
任何定义在原始表上的存储过程和游标都会变为INVALID，当下次调用时后自动进行编译。
如果执行过程中出现错误或者人为选择退出的话，可以执行DBMS_REDEFINITION.ABORT_REDEF_TABLE()过程。
其中UNAME 参数是指用户；
Oracle的普通表没有办法通过修改属性的方式直接转化为分区表，必须通过重建的方式进行转变，下面介绍三种效率比较高的方法，并说明它们各自的特点。
方法一：利用原表重建分区表。
步骤：
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
已创建6264行。
SQL> COMMIT;
提交完成。
SQL> CREATE TABLE T_NEW (ID, TIME) PARTITION BY RANGE (TIME)
2 (PARTITION P1 VALUES LESS THAN (TO_DATE(‘2004-7-1‘, ‘YYYY-MM-DD‘)),
3 PARTITION P2 VALUES LESS THAN (TO_DATE(‘2005-1-1‘, ‘YYYY-MM-DD‘)),
4 PARTITION P3 VALUES LESS THAN (TO_DATE(‘2005-7-1‘, ‘YYYY-MM-DD‘)),
5 PARTITION P4 VALUES LESS THAN (MAXVALUE))
6 AS SELECT ID, TIME FROM T;
表已创建。
SQL> RENAME T TO T_OLD;
表已重命名。
SQL> RENAME T_NEW TO T;
表已重命名。
SQL> SELECT COUNT(*) FROM T;
COUNT(*)
----------
6264
SQL> SELECT COUNT(*) FROM T PARTITION (P1);
COUNT(*)
----------
0
SQL> SELECT COUNT(*) FROM T PARTITION (P2);
COUNT(*)
----------
6246
SQL> SELECT COUNT(*) FROM T PARTITION (P3);
COUNT(*)
----------
18
优点：方法简单易用，由于采用DDL语句，不会产生UNDO，且只产生少量REDO，效率相对较高，而且建表完成后数据已经在分布到各个分区中了。
不足：对于数据的一致性方面还需要额外的考虑。由于几乎没有办法通过手工锁定T表的方式保证一致性，在执行CREATE TABLE语句和RENAME T_NEW TO T语句直接的修改可能会丢失，如果要保证一致性，需要在执行完语句后对数据进行检查，而这个代价是比较大的。另外在执行两个RENAME语句之间执行的对T的访问会失败。
适用于修改不频繁的表，在闲时进行操作，表的数据量不宜太大。
方法二：使用交换分区的方法。
步骤：
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
已创建6264行。
SQL> COMMIT;
提交完成。
SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)
2 (PARTITION P1 VALUES LESS THAN (TO_DATE(‘2005-7-1‘, ‘YYYY-MM-DD‘)),
3 PARTITION P2 VALUES LESS THAN (MAXVALUE));
表已创建。
SQL> ALTER TABLE T_NEW EXCHANGE PARTITION P1 WITH TABLE T;
表已更改。
SQL> RENAME T TO T_OLD;
表已重命名。
SQL> RENAME T_NEW TO T;
表已重命名。
SQL> SELECT COUNT(*) FROM T;
COUNT(*)
----------
6264
优点：只是对数据字典中分区和表的定义进行了修改，没有数据的修改或复制，效率最高。如果对数据在分区中的分布没有进一步要求的话，实现比较简单。在执行完RENAME操作后，可以检查T_OLD中是否存在数据，如果存在的话，直接将这些数据插入到T中，可以保证对T插入的操作不会丢失。
不足：仍然存在一致性问题，交换分区之后RENAME T_NEW TO T之前，查询、更新和删除会出现错误或访问不到数据。如果要求数据分布到多个分区中，则需要进行分区的SPLIT操作，会增加操作的复杂度，效率也会降低。
适用于包含大数据量的表转到分区表中的一个分区的操作。应尽量在闲时进行操作。
方法三：Oracle9i以上版本，利用在线重定义功能
步骤：
SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);
表已创建。
SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;
已创建6264行。
SQL> COMMIT;
提交完成。
SQL> EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE(USER’, ‘T‘, DBMS_REDEFINITION.CONS_USE_PK);
PL/SQL 过程已成功完成。
SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)
2 (PARTITION P1 VALUES LESS THAN (TO_DATE(‘2004-7-1‘, ‘YYYY-MM-DD‘)),
3 PARTITION P2 VALUES LESS THAN (TO_DATE(‘2005-1-1‘, ‘YYYY-MM-DD‘)),
4 PARTITION P3 VALUES LESS THAN (TO_DATE(‘2005-7-1‘, ‘YYYY-MM-DD‘)),
5 PARTITION P4 VALUES LESS THAN (MAXVALUE));
表已创建。
SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, ‘T‘, ‘T_NEW‘, -
> ‘ID ID, TIME TIME‘, DBMS_REDEFINITION.CONS_USE_PK);
可以改为：
SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, ‘T‘, ‘T_NEW‘)
PL/SQL 过程已成功完成。
SQL> EXEC dbms_redefinition.sync_interim_table(‘USER’, ‘T‘, ‘T_NEW‘)
现在，将中间表与原始表同步。（仅当要对表 T 进行更新时才需要执行该操作。）
SQL> EXEC DBMS_REDEFINITION.FINISH_REDEF_TABLE(USER’, ‘T‘, ‘T_NEW‘);
PL/SQL 过程已成功完成。
　　如果重组织失败，那么你就必须采取特殊的步骤来让它重新开始。由于重定义过程需要创建表格的快照，因此为了重新开始这一过程，你必须调用DBMS_REDEFINITION.ABORT_REDEF_TABLE来释放快照。　　
DBMS_REDEFINITION.ABORT_REDEF_TABLE过程有三个参数，即用户（schema）、原始表格（original table name）名称以及持有表格名称（holding table name）。它“出栈”并允许你开始重组织表格。
SQL> SELECT COUNT(*) FROM T;
SQL> SELECT COUNT(*) FROM T PARTITION (P2);
SQL> SELECT COUNT(*) FROM T PARTITION (P3);
需要说明的是完成后，原表和中间表的结构也同时进行了交换，并且中间表里面有原表的数据备份。
优点：保证数据的一致性，在大部分时间内，表T都可以正常进行DML操作。只在切换的瞬间锁表，具有很高的可用性。这种方法具有很强的灵活性，对各种不同的需要都能满足。而且，可以在切换前进行相应的授权并建立各种约束，可以做到切换完成后不再需要任何额外的管理操作。
不足：实现上比上面两种略显复杂。
适用于各种情况。
　　然而，在线表格重定义也不是完美无缺的。下面列出了Oracle9i重定义过程的部分限制。你必须有足以维护两份表格拷贝的空间。你不能更改主键栏。表格必须有主键。必须在同一个大纲中进行表格重定义。在重定义操作完成之前，你不能对新加栏加以NOT NULL约束。表格不能包含LONG、BFILE以及用户类型（UDT）。不能重定义链表（clustered tables）。 不能在SYS和SYSTEM大纲中重定义表格。不能用具体化视图日志（materialized view logs）来重定义表格；不能重定义含有具体化视图的表格。　不能在重定义过程中进行横向分集（horizontal subsetting）。