查询优化 In Oracle

Posted fxjwind

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了查询优化 In Oracle相关的知识,希望对你有一定的参考价值。

Cost-based query transformation in Oracle

Enhanced Subquery Optimizations in Oracle

 

Cost-based query transformation in Oracle

本文介绍Oracle的查询优化框架,

先描述,Oracal分别在RBO和CBO做了哪些事情,为什么要这样做

 

Heuristic Transformation

先看下RBO的部分,RBO部分的Rule基本都是确定可以带来优化的

Subquery Unnesting

子查询消除,子查询如果用apply的方式的话,文中称TIS,Tuple iteration semantics,基本等同于nested loop方式,比较低效

消除的方法分成两大类,

1. 把子查询 merge 到外部查询里面去

如下面的例子,把exists变成semi-join

技术图片

技术图片

2. 产生inline views,或derived table的方式,这种方式会放到CBO里面,所以后面给出例子

 

Join Elimination

消除无用的Join

其中Q4,dept_id是foreign key,所以每个employee都必须有一个dept,这里join起不到filter的作用

技术图片技术图片

 

Filter Predict Move Around 

Filter下推,尽早的过滤数据,前提是这里的Filter是inexpensive的

技术图片

 

Group Pruning

删掉在外层查询中不需要的group

下面的例子,在外层查询中,过滤city,那么city其实就决定了state,country,子查询中的group by 就没有必要了

技术图片

 

Cost-Based Transformations 

这里讲到重点,看下哪些Transformation应该在CBO里面去做的

Subquery Unnesting

第一个仍然是子查询消除,前面说了,如果是产生inline view的方式,需要用CBO

下面的例子,从Q1到Q10,产生了inline view或派生表 V

技术图片技术图片

这里产生inline view的方式不一定会比nested loop的方式更好,如果filter出的row很少,而索引建的很好,很可能nested loop的方式更优

技术图片

所以这种不确定的情况下,需要CBO来判断

 

Group-by and Distinct View Merging

右称为,Groupby Pull-up,如果join会大幅降低数据量,那么把groupby上提是核算的,因为groupby一般都是聚合,比较expensive的操作

比如下面Q11的例子,

把计算平均salary的inline view,挪到了外部查询的group by

可以看到把group by移到外面后,group by的field需要加上join key

技术图片技术图片

Group-by Placement

对应于上面说的Pull Up,这里是Push Down

技术图片

 

 

Join Predicate Pushdown

把外部查询的join predicate下推到子查询中,

一般套路都是uncorrelation,这里反之,不是所有情况都可以这样下推

 技术图片

例子,

技术图片技术图片

 

Join Factorization

 将公共的 join tables 上提

技术图片

技术图片

 

Predicate Pullup

将Expensive的Predicate进行上提,

技术图片

 

Set Operator Into Join

技术图片

 

Disjunction Into Union All

技术图片

 

Framework For Cost-based Transformation

State Space Search Tech

CBO有个关键的问题是,如果Transformation持续变多,那么搜索空间是成指数级别上升的

技术图片

针对这样的问题,比较可行的方式是引入随机算法,

技术图片

Oracle的搜索算法如下,

Exhaustive,穷尽法

Iterative,局部最优,每次选择不同的初始点,有点像退火

Linear,动态回归

Two-pass,强行降低搜索空间

技术图片技术图片

 然后这里比较有借鉴意义,针对不同的search规模,我们应该选用不同的搜索算法

技术图片

 

Transformation执行的方式

Oracle中按照顺序的方式去执行Transformations,

这里给出各个分类的执行顺序

技术图片

当然有些情况下光顺序执行是不够的,

3.3里面提到了,

Interleaving方式,有些rule需要交叉的执行

技术图片

举得例子是,Unnesting和View merging

技术图片

Juxtaposition的方式,

技术图片

 

Enhanced Subquery Optimizations in Oracle

本文讨论Oracle对于子查询的优化方法

Subquery Coalescing

子查询合并,把多个子查询合并成一个

这里提出,Container和Contained的概念

直观上,如果A contain B

A and B,就可以remove A

A or B,就可以removeB

技术图片

 

Coalescing Subqueries of The Same Type

SameType,类型一样,要不都是Exist,要不都是Not Exist

和上面说的一致,只是这里加上Exist和Not Exist,有点绕

总之conjunction留小的,contained,disjunctive留大的,container

 技术图片

对于不满足Containment Property的子查询,仍然可能进行coalescing,

只要他们除了filter和predicates以外是equivalent的

这个很直观,因为如果只是Predicate不一样,是可以合并的

技术图片

例子,虽然没有containment关系,但是仅仅只有predict不一样

技术图片

 可以看到,可以直接把Exists间的OR,转化为predict之间的OR,很直觉

技术图片

 

Coalescing Subqueries of Different Type 

不同的Type,Exist和Not Exist之间的

可以看TPC-H的Q21,

两个子查询是满足Containment关系的,但是类型不一样

这里的感觉就要从Container中挖去Contained的那块

技术图片

是这样转换的,

用Having,对满足条件的case求sum,然后过滤,好tricky

技术图片

 

Coalescing and Other Transformations

Q5加上外层的Join就是Q6

技术图片

这里做的转换是,View merging,就是Groupby Pullup

但是GroupBy的Pull up还是Push down,需要通过cost-based来决定

 技术图片

 

 

 

 

 

 

 

 

以上是关于查询优化 In Oracle的主要内容,如果未能解决你的问题,请参考以下文章

oracle查询语句中in后面数据较多怎么优化

Oracle SQL如何优化IN不相关子查询

Oracle优化笔记

使用 NOT IN(Oracle Sql Developer)的查询性能优化

[Oracle]优化一个查询包含一个最大子查询

SQL优化