[生产库实战] 如何合理的使用logmnr进行日志挖掘，并对生产库影响最小化

Posted 2020-07-18

Oracle Logmnr这个工具怎么用这里就不详细说，可以查看官方文档，网上的文档也一大堆，自己找吧。我这里就直接上干货了。

--创建Oracle目录

select * from dba_directories;

create directory archivelog_dir as ‘/archivelog1/temp_archivelog/‘;

--grant read, write on directory archivelog_dir to zhanghui;

--归档日志路径信息表（tmp_archive_log）,主要是保存要挖掘日志的路径

--注：要为该表加状态标志位，0为未挖掘，1为已挖掘

create table tmp_archive_log as 

select name, 0 flag from v$archived_log 

where first_time>=to_date(‘2012-12-25 13:55:00‘,‘yyyy-mm-dd hh24:mi:ss‘)

  and first_time<to_date(‘2012-12-25 15:05:00‘,‘yyyy-mm-dd hh24:mi:ss‘);

--为挖掘日志出的内容创建表,并根据具体需要选择要提取的字段

create table zhanghui.logmnr_contents

as

select timestamp,log_id,seg_owner,seg_name,table_name,username,operation,sql_redo,sql_undo from v$logmnr_contents where 1=2;

--批量处理挖掘日志，只分析几个归档日志手动处理还好，如果要分析上百个，还手动搞，那就傻了，所以做事的讲究方法，2分钟1.5G的归档，分析两个小时的，怎么玩?

--注：由于挖掘出的日志内容保存在内存中，操作会话退出就丢失了，故这里采用单个日志挖掘，然后将数据保存到一张表中，完成后commit。以免对DB的memory造成冲击，影响性能，生产库操作一定要保证不影响业务的情况下进行各类操作。

$ sqlplus / as sysdba

create procedure proc_logmnr_batch
IS
  vCur                      sys_refcursor;
  v_sql_dirarclog           varchar2(2000);
  v_sql_arclog              varchar2(2000);
begin
  open vCur for select name from zhanghui.tmp_archive_log where flag=0;
  loop
    fetch vCur
      into v_sql_dirarclog;
    exit when vCur%notfound;
  v_sql_arclog:=‘begin sys.dbms_logmnr.add_logfile (logfilename=>‘‘‘||v_sql_dirarclog||‘‘‘,options=>sys.dbms_logmnr.NEW); end;‘;
  execute immediate v_sql_arclog;
  begin sys.dbms_logmnr.start_logmnr(options =>dbms_logmnr.dict_from_online_catalog); end;
    insert into /*+ append */ zhanghui.logmnr_contents 
    select timestamp,log_id,seg_owner,seg_name,table_name,username,operation,sql_redo,sql_undo from 
    v$logmnr_contents
    --where table_name=‘<TABLE_NAME>‘ and OPERATION=‘DELETE‘;
  begin sys.dbms_logmnr.end_logmnr; end;
  UPDATE zhanghui.tmp_archive_log set flag = 1 where name= v_sql_dirarclog;
  commit;
  end loop;
    --跑完了发条短信，调用短信接口
    close vCur;
EXCEPTION
  WHEN OTHERS THEN
    ROLLBACK;
    --报错了发条短信，调用短信接口
    --dbms_output.put_line(sqlerrm); 
END proc_logmnr_batch;

 

--采用操作系统调用存储过程脚本

$cat proc_logmnr_batch.sh

#!/bin/bash
sqlplus / as sysdba <<EOF
set newpage 0
set linesize 1000             
set pagesize 0
spool proc_logmnr_batch.txt;
exec proc_logmnr_batch;
spool off
quit;
EOF

--赋予执行权限

$chmod +x proc_logmnr_batch.sh

--后台调用执行

$nohup ./proc_logmnr_batch.sh &

好了，等收到处理完成的短信，登录数据库查看即可。