技术感悟:我对Oracle索引的理解

Posted 2023-05-07

参考技术A

　　本文只讲最最平常最最简单的索引 就是以create index ix on tx(a b c);形式创建的索引 而不讲位图索引 反向键索引 倒序索引 基于函数的索引等等 其实呢 只要是基于B树的索引 不管是在Oracle mysql 还是其它数据库中 原理应当都是一样的

　　索引最重要的一个性质应该就是有序 索引中的每一项 是从左到右 从小到大 以严格的顺序排列好的

　　下面的讨论都以上面的索引ix(a b c)为例

　　把这棵索引的叶子节点画到纸上 大概是这样的

　　a a a an

　　b b b bn

　　c c c cn

　　上面这个 ×n的矩阵 每一列代表了一条记录 同时这一列记录 也对应了表里的唯一一条记录 当然 在Oracle里 对于non unique索引 需要补上rowid 才是真正唯一的 上面的索引相当于create unique index ix on tx(a b c rowid); 我们把这个细节忽略掉

　　把每一列看作一个向量 vi = (ai bi ci)

　　有序的含义就是

　　vi < vj iff i < j;

　　vi < vj这么定义

　　(ai < aj) or (ai = aj and bi < bj) or (ai = aj and bi = bj and ci < cj)

　　从这个基本性质 我们可以得到一些其它性质(为了打字方便 ai+k表示a(i+k) 而不是a(i)+k)

　　 ) 如果ai ai+ …… ai+k 都是相等的 那么

　　bi <= bi+ <= …… <= bi+k

　　 ) 如果ai ai+ …… ai+k是相等的 而且bi bi+ …… bi+k也是相等的 那么

　　ci <= ci+ <= …… < ci+k

　　但是从 ai ai+ …… ai+k相等 我们得不到

　　ci <= ci+ <= …… <= ci+k这个结论

　　索引相关的很多问题 都和上面提到的这几个性质有关系

　　下面来看几个常见的查询:

　　q ) select * from tx where a = :va and b = :vb;

　　q ) select * from tx where b = :vb and c = :vc;

　　q ) select * from tx where a = :va and c = :vc;

　　q ) select * from tx where a = :va order by b;

　　q ) select * from tx where a = :va order by b c;

　　q ) select * from tx where a = :va order by c;

　　q ) select * from tx where a = :va order by b c desc;

　　q ) select * from tx where a = :va order by b desc c desc;

　　q ) select * from tx where a = :va and b <= :vb

　　qa) select * from tx where a = :va and b >= :vb

　　qb) select * from tx where a = :va and c >= :vc

　　qc) select * from tx where a = :va and b >= :vb order by c

　　大家可以考虑一下这些查询各自会以怎样的方式执行 不同查询之间有什么区别?

　　同样 为什么在索引字段上作了函数运算之后 索引不可用?

　　考虑下面这个语句:

　　select * from tx where f(a) = :vfa;

　　首先 在字段 a上作了函数运算之后 排序的规则是否仍旧一样? a < b 与 f(a) < f(b)是否等价?

　　其次 就算f(a)和a的排序规则一样 但是索引块中存的a 但是你传给它的是经过了函数运算的值:vfa 只有oracle知道函数f的反函数inv_f 并在vfa上做inv_f(:vfa)计算之后 才能通过索引的B树结果进行查找

　　当然 现实中f可能不是显示的 而是隐式的 如传入参数和字段类型不匹配的情况下 Oracle可能在字段上作函数运算 从语句上可能看不出索引字段上被做了函数运算 但Oracle内部已经在字段上运用了函数 这样也会导致索引不可用 这种情况下用hint强制使用索引也是没用的

　　通过dbms_xplan display_cursor可以或许可以查看到这种隐式类型转换

　　通过v$sql_bind_metadata应当可以查看到每个绑定变量的类型

　　通过v$sql_bind_capture这个视图甚至可以看到每个绑定变量具体的值 不要把bind_capture和bind peek搞混哦 而且这里bind_cature也不会每绑定一次变量就capture一次 不然对执行量非常高 绑定频繁的语句 capture以同样频率进行的话 开销可能还是有点大的

　　上面讲到了索引的有序性 下面来讲讲索引另外一个有趣的性质 其实 我们完全可以把索引看作一张表 这张表包含和主表一样多的记录(如果不考虑null) 只不过每条记录只有主表的部分字段 开个玩笑 我们是不是可以把索引叫做有序视图呢?或者精确一点 有序物化视图:)

　　那么 我在执行一些查询的时候 如果所有字段都包含在索引中 是不是只要访问索引就可以了呢?

　　这些字段可以出现在select列表中 where条件中 order by字段中 也可以出现在两个表连接时的连接条件中

　　那么 根据业务的需求 我们是不是可以设计或调整索引以减少对主表的访问呢?或者 是不是可以适当的调整应用的设计或实现来满足索引呢?

　　同时 考虑到索引的有序性 是不是可以利用索引来避免排序呢?

　　当然 我们不能忽略null的存在 如果一条记录在索引中的所有字段上都是null的 那么oracle是不会索引这条记录的 比如如果记录ri的ai bi ci字段都是null的 索引中是找不到这条记录的 这会有什么问题呢?首先表中的记录和索引中的记录从数量上来说就不一样了

　　考虑一下Oracle会怎样执行下面这个查询:

　　select count(*) from tx;

　　这个呢 hint起作用了吗?

　　select /*+ parallel(tx ) */ count(*) from tx;

　　大家可以测试一下 怎样把count(*)这个操作并行化 从这里或许可以得到一些Oracle怎么处理hint的提示

　　最后 讲一下Oracle CBO计算索引访问成本的公式

　　cost =

　　blevel +

　　ceiling(leaf_blocks * effective index selectivity) +

　　ceiling(clustering_factor * effective table selectivity)

　　这个公式相信很多地方可以找到(我是从cost base oracle fundamentals这本书里copy出来的) 简单说一下我自己对这个公式的理解

　　blevel是索引树的高度

　　leaf_blocks是索引的页子节点的个数

　　effective index selectivity (eis)怎么算呢?

　　还是举几个例子

　　 where a = :va and b = :vb c = :vc

　　这里eis是 (selectivity a) * (selectivity b) * (selectivity c)

　　 where a = :va and c = :vc

　　这里eis是 selectivity a

　　 where b = :vb and c = :vc

　　这里eis是

　　 where a = :va and b >= :vb and c = :vc

　　这里eis是 (selectivity a) * (selectivity range b)

　　就是说按索引字段的顺序 第一个不在where条件中出现的字段 或者第一个做了范围运算的字段 之后出现的字段的selectivity是不能乘到effective index selectivity里去的

　　简单的说 ceiling(leaf_blocks * effective index selectivity)表示的是Oracle需要访问的索引叶子节点的个数

　　clustering_factor表示的是按索引的顺序 从头走到尾 需要访问多少次数据块 这里需要考虑到Oracle的一个优化 如果连续n条记录在同一个表块中 那么oracle认为只需要访问一次数据块

　　那么clustering_factor的值的范围就很容易确定了 cf >= table blocks and cf <= rows in index

　　effective table selectivity 这个计算就容易了 把索引中所有字段的selectivity乘起来就可以了

　　如果查询中还有其它条件 比如 d = :vd and e = :ve 但是d e这些字段又不在索引中 那么在这些列上的过滤条件 需要回表后把这些值取出来才能判断 所以d e这些列的selectivity是不能乘到effective table selectivity里去的

　　ceiling(clustering_factor * effective table selectivity)表示需要回表的次数

　　所以上面索引访问的cost就是走某个索引 需要访问的数据块的个数

　　当然 前面的讨论忽略了index skip scan这种情况 因为本人对index skip scan也不是很明白

　　什么情况下会走skip scan?

　　select * from tx where a = :va and c = :vc 是不是会在c这个字段上也作一个skip scan呢?

lishixinzhi/Article/program/Oracle/201311/16730

[math] 我对对数的最新理解

前言

作为资深学渣，每次遇到对数就极度恐慌。恐慌不是因为要考试～～～。而是因为不理解，只能靠死记硬背运算规则。不能进行有效的推理，这让我极度不爽，因为会忘记。故惶恐。

所以总是耿耿于怀，想要试图理解对数的本质。最近看到了一篇文章，再一次的加深了理解。故整理了一些自己最新的感悟记录如下：

 

新的理解

接下来说一下我的最新理解，那么对数到底要怎么理解呢？

我们要知道自然数与四则运算的演化过程，之后自然便能导出到底啥是对数了。

推理过程如下：

１．有一天，上帝创造了自然数。自然数除了天然存在以外，还有一个性质就是天然有序。

２．因为有序，所以有了从一个数到达相邻数的计数操作，也就是加一操作，以及它的逆运算减一。我们称之为计数操作与逆计数（我自己起的名～～～，理解要领就好～～～）

３．通过计数操作，我们定义累计计数操作，或者叫做连续计数操作。称之为加法，以及它的逆运算减法。

　　在步骤２里边，我们看到计数操作是二元的，第一元是ｏｐ（正计数/逆计数），第二元是基数（比如从５数到６，５就是基数）。（其实从加法的角度理解，也是三元的，只不过第三元是常数１．但是你不要忘了我还没创造出加法呢，这个时候）

　　那么到了步骤３里，我们这里的概念已经变成了三元的。ｏｐ是加或减，第二元是基数，第三元是操作数。操作数就是做几次连续计数。如　５＋６＝１１可以理解为

　　对数５进行６次连续计数（加一）操作，得数为１１．

　　那么逆运算，也就是减法。是怎么来的呢？所谓逆运算就是通过得数反过来求得正向运算中的其他因子（不准确，领会要领。作者实在业余。。。）。来回答这样的两个问题：

　　ａ。什么数做连续６次的计数操作可以得到１１？

　　ｂ。５做连续多少次的计数操作可以得到１１？

　　关于问题ｂ，我们这样求：对１１连续做逆计数运行，当到底５的时候，我们发现一共进行了６次。我们说：１１进行某 f１(５）操作后得到６．

　　问题ａ，我们这样求：对１１连续做６次逆计数运算，发现第六次结束之后，这个数是５．我们说：１１进行某f2（６）操作之后得到５．

　　这里ｆ１和ｆ２是两个不同的操作，ｆ１是指减减减减减一直减到５为止。ｆ２是指减一下再减一下，一直减六下。如果你是个程序员，你们就会明明实现这个两个函数是完全不一样的逻辑。。。

　　（额。。。　我真是表达能力捉鸡。。有点吃力。。。）

　　然后奇怪的事情发生了～～～，我们突然发现，在这个过程中５和６其实是可以互换的～～～这就是伟大的加法交换律啊，我的天～～～

　　所以我们知道了，奇迹发生了，函数ｆ１和函数ｆ２是等价的。然后，我们给他俩起一个新的名字，叫做减法。

　　就是说：因为加法有两个操作数（另一个之前我管他叫基数），所以它的运算反过程，也有对应的两个操作ｆ１和ｆ２，但是因为交换律的存在。所以ｆ１和ｆ２是统一的，也就是减法。

　　故，把这个过程就定义为了加法的逆运算，我们称之为减法。

　　这也就是交换律的意义。

４．于是我们上瘾了，是的。把２－＞３的推导过程再玩一次。

　　对同一个基数，连续做ｎ的加法运算。我们称之为乘法。

　　就是５加５加５加５连续加了６次，称５乘６．

　　乘法同样是一个ｏｐ，一个基数，一个操作数。而ＴＭＤ的简直神了，乘法居然也满足交换律～～～

　　就是６加６加６加６连续加５次，竟然和前一次相等。

　　故，基于３中的推理，得到了除法。请注意，这里的除法也是ｆｕｎｃｔｉｏｎ１（）与ｆｕｎｃｔｉｏｎ２（）的等价物，因为交换律。

　　另外，你自然会问，那么０呢？０为啥不能做除数呢，凭什么？然后遗憾的是，我们这里不讨论０，因为请回到本小节第一句话，我们是在自然数系中讨论问题，还没创造０呢，亲。（其实是因为我还没想明白。。）

５．那么继续，再推导一次２－＞３的推理过程。

　　对同一个基数，连续做ｎ次的乘法操作。我们称之为乘方运算

　　就是：５乘５乘５乘５，连续乘６次。得１５６２５

　　然后遗憾的是，乘方运算不再满足交互律，也就是６乘６乘６，连续乘５次得７７７６，不再与前式相等。于是也就没有了逆运算。

　　但是不要怕，我们依然有ｆｕｎｃｔｉｏｎ１和ｆｕｎｃｔｉｏｎ２。区别是他们两个不在等价了。

　　我们定义ｆｕｎｃｔｉｏｎ１为开方运算，指求前式中的５，他回答的是这样一个问题：

　　什么数连续乘，乘６次之后得１５６２５

　　我们定义ｆｕｎｃｔｉｏｎ２为对数运算，用来求得前式中的６，他回答的是这样一个问题：

　　自然数５连续乘乘乘，乘多少次之后得１５６２５

 

６．截止到前文，我们已经理解好了啥是对数了。

　　如前所属，这样的结果并不好看，对吧。

　　于是为了好看。数学家们在将四则运算扩展至有理数域的时候，竟然通过引入新的定义，将乘方和开方统一了～～～，统称为幂运算。

　　这地方，还有待详细理解。以后再说吧。。。

 

７．然后还要一个值得一提的是。

　　在历史上对数并不是从我们先前的推导过程中出现的。在实际生活中，对数早于乘方出现了很长时间。它的出现主要是为了解决乘法运算不好算，

　　并且数很大的问题。而对数的意义在于通过如下两个公式，神奇的将乘法运算转换回加法运算，除法运算转化为减法运算。

　　关于这个问题的详细探讨，就要交给扩展阅读里的第一篇文章来讲解了。　　

８．还有还有

　　通过前边的推理，我们是不是可以再抽象一个高度，把对数/开方与除法理解为同等的概念来处理？总感觉他们冥冥之中具有相同的性质。都是一种拆分？？　

　　还有待深入的学习。

　　知乎一个人的回答，只言片语～～

　　

乘法群(R^+,	imes)到加法群(R,+)的同构。

微分方程frac{dy}{dx}=frac1x在yvert_{x=1}=0的解。

 

扩展阅读

本来想贴过来，后来发现贴过来巨丑，自己点进去看吧，各位。

如何理解对数：https://www.matongxue.com/madocs/12.html

自然底数到底怎么就自然了：https://zhuanlan.zhihu.com/p/48391055