数据库优化之统计分析实战篇

Posted 2021-05-01 ITPUB

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据库优化之统计分析实战篇相关的知识，希望对你有一定的参考价值。

我们发现有很多dba对oracle的统计分析都存在一些误解，认为这个是oracle后台自动运行的，我们不用去关心，我觉得统计分析有很深的学问。

我想问大家的是:

你们开启了的每天收集统计信息,每天窗口运行正常吗？
所有的表都使用oracle的自动窗口收集？大表是不是要考虑定制收集？分区表是不是要增量收集？
在不影响业务的情况下，什么时间段收集统计信息？
如何判断统计信息是否过期，如何判断哪些字段需要收集直方图，收集的规则是什么？

下面我来一一解答:

查询自动任务是否开启

SELECT OPERATION_NAME,STATUS FROM DBA_AUTOTASK_OPERATION WHERE CLIENT_NAME LIKE '%stats%';

STATUS为ENABLED表示任务开启

如果为

DISABLE exec dbms_auto_task_admin.ENABLE(client_name => 'auto optimizer stats collection',operation =>'auto optimizer stats job',window_name=> null);

查看后台的窗口信息:

select * from dba_scheduler_windows

查看每天的统计JOB是否成功racle11g调用窗口会自动生成以ORA$AT_OS_OPT开头的JOB

select * from dba_scheduler_job_run_details where job_name LIKE '%ORA$AT_OS_OPT%' ORDER BY LOG_DATE DESC

如果stoped要查看具体的内容：我这边有两次发生stop.

(1)执行总共收集的时间，超出了收集窗口的时间（默认是周一到周五 22:00~02:00 4个小时周六和周日06:00~02:00 20个小时)

解决办法:可以开启并行收集(默认是串行)

EXEC DBMS_STATS.SET_PARAM('DEGREE',4);

或者将窗口时间调长

begin
dbms_scheduler.set_attribute(name => 'TUESDAY_WINDOW', attribute => 'duration', value =>numtdosinterval(480,'minute'));
end;
/

(2) job执行到一半的时候，由于其它窗口启动导致收集终止。

解决办法:将收集的窗口优先级调高

BEGIN
  dbms_scheduler.set_attribute(
name    => 'TUESDAY_WINDOW',
attribute => 'window_priority',
value    => 'HIGH');
END;
/

---备注：调整窗口的时间点收集：

BEGIN
  dbms_scheduler.disable(
name  => 'TUESDAY_WINDOW');
  dbms_scheduler.set_attribute(
name    => 'TUESDAY_WINDOW',
attribute => 'repeat_interval',
value    => 'freq=daily;byday=TUE;byhour=03;byminute=0;bysecond=0');
  dbms_scheduler.enable(
name => 'TUESDAY_WINDOW');
END;
/

表是否都是oracle自动收集

(1) 获取对象级别的统计信息设置选型

SELECT * FROM DBA_TAB_STAT_PREFS

(2)大表我们要定制化收集，调整收集的采样率(例如我们有张表是800G,如果你使用oracle的默认收集,收集时间保守估计在800分钟)

可以定制收集

exec dbms_stats.set_table_prefs('用户名','表名','STALE_PERCENT',100);

BEGIN
DBMS_STATS.GATHER_TABLE_STATS(ownname => 'XX',
tabname => 'XX',
estimate_percent => 30,
degree => 4,
no_invalidate => FALSE,
method_opt => 'for all columns size auto',
cascade=>TRUE
);
END;

具体什么样的表需要定制,这个根据你们的数据库实际情况，找出具体的表手工收集，下面有个脚本参考一下:

declare
  cursor stale_table is
  select owner, segment_name,
      case  when size_gb<0.5 then 30
      when size_gb>=0.5 and size_gb<1 then 20
      when size_gb >=1 and size_gb<5 then 10
      when size_gb>=5 and size_gb<10 then
      when size_gb>=10 then 1
      end as percent,
      8 as degree
      from (select owner,segment_name,sum(bytes/1024/1024/1024)size_gb
      from dba_segments where owner='' AND SEGMENT_NAME IN
      (SELECT /*+ UNNEST */ DISTINCT TABLE_NAME FROM DBA_TAB_STATISTICS WHERE
      (LAST_ANALYZED IS NULL OR STALE_STATS='YES') AND OWNER='')
      GROUP BY OWNER,SEGMENT_NAME);
      BEGIN
FOR STALE IN STALE_TABLE LOOP
DBMS_STATS.GATHER_TABLE_STATS(OWNNAME =>STALE.OWNER,
  TABNAME=>STALE.SEGMENT_NAME,
  ESTIMATE_PERCENT =>STALE.PERCENT,
  METHOD_OPT =>'for all colums size skewonly',---默认oracle 是for all colums size auto
  degree =>8,
  granularity =>'ALL',
  cascade =>true);
  end 1oop;
  end;

(3) 分区表的增量收集:

exec dbms_stats.set_table_prefs('username','TABLENAME','INCREMENTAL','TRUE');

为什么要增量收集，我们这边有一个log表，记录用户下的所有源表的增删改查，这个表用于用户程序的增量同步的判断。

每天的数据量很大，按周的rang分区，查询的时间都是在最近时间。

----我们暂且不用考虑分区表的设计问题和增量的断点问题。

第三点上面已经解答。请参考。

(1)判断是否过期

(stale_stats='YES' or last_analyzed is null)可以说明统计信息过期:

select owner,table_name ,object_type,stale_stats,last_analyzed from dba_tab_statistics where owner ='XX'
and table_name in('XX')

(2)oracle默认表的变化量在10%收集统计信息。

有时我们发现有些表数据量变化不大，很久没有收集统计信息，导致执行计划问题（oracle 估算基数处在一个临界点）我们可以根据表的变化率进行微调，从而制定合理的阀值。

查看表的变化率:

select *
  from (select t2.table_name,
            t2.partition_name,
            t2.subpartition_name,
            t2.inserts,
            t2.updates,
            t2.deletes,
            t1.NUM_ROWS,
            case
               when (t1.NUM_ROWS = 0 or t1.NUM_ROWS is null) then
               100
               else
               trunc((t2.inserts + t2.updates + t2.deletes) / t1.NUM_ROWS * 100,
                     2)
            end "mod_pct(%)",
            case
               when t1.LAST_ANALYZED is null then
               '未分析'
               else
               to_char(t1.LAST_ANALYZED)
            end LAST_ANALYZED,
            t2.timestamp,
            'begin dbms_stats.gather_table_stats('||'ownname=>'''|| t2.table_owner ||
            ''','||'tabname=>''' || t2.table_name ||''','||'estimate_percent=>100'||','||'degree=>4'||',cascade => TRUE); end;' EXEC_STATS
      from dba_tab_statistics t1, dba_tab_modifications t2
      where t1.OWNER = t2.table_owner
         and t1.TABLE_NAME = t2.table_name
         and DECODE(t1.PARTITION_NAME, t2.partition_name, 0, 1) = 0
         and DECODE(t1.SUBPARTITION_NAME, t2.subpartition_name, 0, 1) = 0
         and t2.table_owner = '' AND T2.table_name='')
where "mod_pct(%)" >= 0
order by "mod_pct(%)" desc;

调整阀值：

exec dbms_stats.set_table_prefs('用户名','表名','STALE_PERCENT',1);

这样表变化率在1%会自动收集

(3) 直方图什么情况下收集:

oracle默认是for all colums size auto

oracle文档中说(文档 ID 338926.1)中有描述

Oracle determines the columns to collect histograms based on data distribution and the workload of the columns.

其实这句话有两层含义

一是必须这个字段是被条件筛选到就是

where a=xx

select object_id from dba_objects where owner='XX' and object_name='XX';

select name,intcol# from sys.col$ where obj#=XX and name='XX';