表复制到其他数据库的高级队列

Posted

技术标签:

【中文标题】表复制到其他数据库的高级队列【英文标题】:advanced queuing for table replication to other database 【发布时间】:2015-09-09 13:08:01 【问题描述】:

所以,我正在尝试使用高级队列将表中的数据复制到另一个数据库。我在两个数据库上都创建了一个表:

create table test
(
  id number(10) primary key,
  text varchar2(100)
);

然后我创建了队列

create type table_repli_payload_type AS OBJECT
(   rowid_record   varchar2(100)
  , tabelle        VARCHAR2(255)
  , schema         VARCHAR2(50)
);



begin
  SYS.DBMS_AQADM.create_queue_table(queue_table        => 'table_repli_queue_table',
        queue_payload_type => 'table_repli_payload_type',
        multiple_consumers => TRUE);
   SYS.DBMS_AQADM.CREATE_QUEUE (
          queue_name  => 'table_repli_queue',
          queue_table => 'table_repli_queue_table'
          );
       SYS.DBMS_AQADM.START_QUEUE (
          queue_name => 'table_repli_queue'
          );
end;

写了一个复制过程

create or replace procedure table_repli_callback(
                 context  RAW,
                 reginfo  SYS.AQ$_REG_INFO,
                 descr    SYS.AQ$_DESCRIPTOR,
                 payload  RAW,
                 payloadl NUMBER
                 ) AS

   r_dequeue_options    DBMS_AQ.DEQUEUE_OPTIONS_T;
   r_message_properties DBMS_AQ.MESSAGE_PROPERTIES_T;
   v_message_handle     RAW(16);
   o_payload            table_repli_payload_type;
   v_error varchar2(4000);

BEGIN
   insert into log_table values(sysdate, 'start table_repli_callback');
   r_dequeue_options.msgid := descr.msg_id;
   r_dequeue_options.consumer_name := descr.consumer_name;

   DBMS_AQ.DEQUEUE(
      queue_name         => descr.queue_name,
      dequeue_options    => r_dequeue_options,
      message_properties => r_message_properties,
      payload            => o_payload,
      msgid              => v_message_handle
      );
    insert into log_table values(sysdate, 'ROWID: '||o_payload.rowid_record);

    merge into test@test_link a
    using (select * from test where rowid=o_payload.rowid_record) b on (a.id=b.id)
    when matched then
    update set text=b.text
    when not matched then
      insert values(b.id, b.text);

   COMMIT;
exception
  when others then
    v_error:=sqlerrm;
    insert into log_table values(sysdate, 'ERROR: '||v_error);
    commit;    
END;
/

并订阅了它

BEGIN
   DBMS_AQADM.ADD_SUBSCRIBER (
      queue_name => 'table_repli_queue',
      subscriber => SYS.AQ$_AGENT(
                       'table_repli_queue_subscriber',
                       NULL,
                       NULL )
      );
    DBMS_AQ.REGISTER (
       SYS.AQ$_REG_INFO_LIST(
          SYS.AQ$_REG_INFO(
             'table_repli_queue:table_repli_queue_subscriber',
             DBMS_AQ.NAMESPACE_AQ,
             'plsql://table_repli_callback',
             HEXTORAW('FF')
             )
          ),
       1
       );
END;
/

我尝试在TEST-table 中插入/更新数据,而不是执行(更改 ids)此代码

DECLARE
   r_enqueue_options    DBMS_AQ.ENQUEUE_OPTIONS_T;
   r_message_properties DBMS_AQ.MESSAGE_PROPERTIES_T;
   v_message_handle     RAW(16);
   o_payload            table_repli_payload_type;
   v_rowid_record varchar2(100);
BEGIN
   select rowid
     into v_rowid_record
     from test
     where id=2;
   o_payload := table_repli_payload_type(
                   v_rowid_record, '', ''
                   );
   DBMS_AQ.ENQUEUE(
      queue_name         => 'table_repli_queue',
      enqueue_options    => r_enqueue_options,
      message_properties => r_message_properties,
      payload            => o_payload,
      msgid              => v_message_handle
      );
  COMMIT;
END;
/

如果它正在工作,那是非常随机的。他似乎总是在TABLE_REPLI_QUEUE_TABLE 中写入一些东西,但是当它消失时,大约有一半的时间在LOG_TABLE 中没有出现任何内容,并且第二个数据库中的数据没有改变。

【问题讨论】:

插入日志表应通过自治事务for example 首先将提交取出,最佳实践是在过程之外提交。拿别人出去的时候。然后告诉我们出现了哪些错误消息 没有错误信息,因为该过程是/应该从队列中调用,但由于一半时间甚至日志表中没有条目,它似乎没有被调用完全没有。 【参考方案1】:

错误是 TOAD 中的一种奇怪行为。 我有时会编写测试脚本,其中包含 ddl、dml、selects、pl/sql-blocks,并通过将光标放在所需命令的一部分并按 shift+F9 来执行它们。似乎我的 TOAD 只是没有执行 PL/SQL 块,尽管它告诉我,它确实执行了。 我将 PL/SQL 块放在另一个选项卡中,然后按 F9,每次都运行良好。

【讨论】:

以上是关于表复制到其他数据库的高级队列的主要内容,如果未能解决你的问题,请参考以下文章

excel如何多条件筛选

我应该将所有外键从主事实表复制到其他相关表吗?

VBA自动过滤复制值,去重并粘贴到其他工作表中

MySQL 触发器 - 复制新的。插入的数据与现有的列值进行比较,如果它们匹配,则将它们插入到其他表中

怎样把一个指针的内容复制给另一个指针(两个指针都有值),数据库中线性表怎么做

在phpMyAdmin中将数据从表自动传输到另一个表