[生产库实战] 如何合理的使用logmnr进行日志挖掘,并对生产库影响最小化

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[生产库实战] 如何合理的使用logmnr进行日志挖掘,并对生产库影响最小化相关的知识,希望对你有一定的参考价值。

Oracle Logmnr这个工具怎么用这里就不详细说,可以查看官方文档,网上的文档也一大堆,自己找吧。我这里就直接上干货了。


--创建Oracle目录

select * from dba_directories;

create directory archivelog_dir as ‘/archivelog1/temp_archivelog/‘;

--grant read, write on directory archivelog_dir to zhanghui;


--归档日志路径信息表(tmp_archive_log),主要是保存要挖掘日志的路径

--注:要为该表加状态标志位,0为未挖掘,1为已挖掘

create table tmp_archive_log as 

select name, 0 flag from v$archived_log 

where first_time>=to_date(‘2012-12-25 13:55:00‘,‘yyyy-mm-dd hh24:mi:ss‘)

  and first_time<to_date(‘2012-12-25 15:05:00‘,‘yyyy-mm-dd hh24:mi:ss‘);


--为挖掘日志出的内容创建表,并根据具体需要选择要提取的字段

create table zhanghui.logmnr_contents

as

select timestamp,log_id,seg_owner,seg_name,table_name,username,operation,sql_redo,sql_undo from v$logmnr_contents where 1=2;


--批量处理挖掘日志,只分析几个归档日志手动处理还好,如果要分析上百个,还手动搞,那就傻了,所以做事的讲究方法,2分钟1.5G的归档,分析两个小时的,怎么玩?

--注:由于挖掘出的日志内容保存在内存中,操作会话退出就丢失了,故这里采用单个日志挖掘,然后将数据保存到一张表中,完成后commit。以免对DB的memory造成冲击,影响性能,生产库操作一定要保证不影响业务的情况下进行各类操作。

$ sqlplus / as sysdba

create procedure proc_logmnr_batch
IS
  vCur                      sys_refcursor;
  v_sql_dirarclog           varchar2(2000);
  v_sql_arclog              varchar2(2000);
begin
  open vCur for select name from zhanghui.tmp_archive_log where flag=0;
  loop
    fetch vCur
      into v_sql_dirarclog;
    exit when vCur%notfound;
  v_sql_arclog:=‘begin sys.dbms_logmnr.add_logfile (logfilename=>‘‘‘||v_sql_dirarclog||‘‘‘,options=>sys.dbms_logmnr.NEW); end;‘;
  execute immediate v_sql_arclog;
  begin sys.dbms_logmnr.start_logmnr(options =>dbms_logmnr.dict_from_online_catalog); end;
    insert into /*+ append */ zhanghui.logmnr_contents 
    select timestamp,log_id,seg_owner,seg_name,table_name,username,operation,sql_redo,sql_undo from 
    v$logmnr_contents
    --where table_name=‘<TABLE_NAME>‘ and OPERATION=‘DELETE‘;
  begin sys.dbms_logmnr.end_logmnr; end;
  UPDATE zhanghui.tmp_archive_log set flag = 1 where name= v_sql_dirarclog;
  commit;
  end loop;
    --跑完了发条短信,调用短信接口
    close vCur;
EXCEPTION
  WHEN OTHERS THEN
    ROLLBACK;
    --报错了发条短信,调用短信接口
    --dbms_output.put_line(sqlerrm); 
END proc_logmnr_batch;

 

--采用操作系统调用存储过程脚本

$cat proc_logmnr_batch.sh

#!/bin/bash
sqlplus / as sysdba <<EOF
set newpage 0
set linesize 1000             
set pagesize 0
spool proc_logmnr_batch.txt;
exec proc_logmnr_batch;
spool off
quit;
EOF


--赋予执行权限

$chmod +x proc_logmnr_batch.sh

--后台调用执行

$nohup ./proc_logmnr_batch.sh &


好了,等收到处理完成的短信,登录数据库查看即可。


以上是关于[生产库实战] 如何合理的使用logmnr进行日志挖掘,并对生产库影响最小化的主要内容,如果未能解决你的问题,请参考以下文章

logminer实战之生产环境写入数据字典,dg环境查询拷贝日志,测试环境进行挖掘,输出结果

LOGMNR-日志分析的强大工具

Oracle 采用logmnr 分析在线redo日志

[生产库实战] 采用存储过程对生产线历史表数据进行归档

利用ELK分析Nginx日志生产实战(高清多图)

日志服务Python消费组实战:实时分发数据