关系型数据库的物理连接

Posted 2020-10-31 vansky

在开发中常听到的 left join，Inner JOIN ，right join ，cross join 这些连接都是数据库的逻辑连接，那么数据库在执行这些连接的时候，数据库是如何在底层实现表的关联的呢？这就是物理连接
目前大部分关系型数据库支持3种物理连接(mysql 貌似到5.6未知仅支持嵌套连接)
数据库的物理连接：
数据库接两个表时候，会考虑3种方法：嵌套连接，合并连接，散列连接。3种方法的连接都有一个表被选为外表（只扫描一次），一个表被选为内表（坑内扫描多次）。如果查询连接了多个表，每次查询只能连接2各表，并保存把中间结果，用户连接另外的表。
1、嵌套连接：外表只扫描一次，而针对外表的每一行都需要扫描一次內表。（注意：连接不能用long或lob字段）
2、合并连接：合并连接需要一个等式连接词（A.col1=B.col1），还要求根据连接列对两个连接的表进行排序。合并连接內表和外表都只扫描一次，有时情况下需要再次扫描內表的部分值，例如，外表存在重复值的情况下。所以优化器通常选择重复值较少的表作为外表。
3、散列连接：散列连接需要一个或多个等式连接谓词，其中每个谓词的类型相同。char类型长度必须相同。decimal进度必须相同。散列连接可以处理多个等式谓词。对于散列连接，首先扫描內表（也称为构件表 build table），表中的行被复制到内存缓冲区。根据“散列键（hash key）”，这些缓冲区被分为几个分区，如果内存中没有足够的空间容纳整个表，则有些分区被写入磁盘上的临时表。然后扫描外表。然后扫描外表（探测表）。对于外表中的每一行，对连接列应用同意散列算法。如果所获得的散列键与行的散列键相匹配，读取分区里面的所有行并应用连接谓词。如果与探测表行匹配的分区在内存中，则读取分区并应用连接谓词将立即进行。如果分区被写入临时表，则探测行也别写入临时表。最后，匹配统一分区行和对应分区被一起处理。

优化器使用3种连接的场景：
嵌套连接：
对于被连接的数据子集较小的情况，nested loop连接是个较好的选择。nested loop就是扫描一个表，每读到一条记录，就根据索引去另一个表里面查找，没有索引一般就不会是 nested loops。
一般在nested loop中， 驱动表满足条件结果集不大，被驱动表的连接字段要有索引，这样就走nstedloop。如果驱动表返回记录太多，就不适合nested loops了。如果连接字段没有索引，则适合走hash join，因为不需要索引。
Inner table被Outer table驱动，outer table返回的每一行都要在inner table中检索到与之匹配的行。
Outer table: 小表、驱动表
Inner table: 被驱动表、大表

哈希连接： 哈希连接是做大数据集连接时的常用方式。优化器扫描小表（或数据源），利用连接键（也就是根据连接字段计算hash值）在内存中建立hash表，然后扫描大表，每读到一条记录就来探测hash表一次，找出与hash表匹配的行。
当小表可以全部放入内存中，其成本接近全表扫描两个表的成本之和。如果表很大不能完全放入内存，这时优化器会将它分割成若干不同的分区，不能放入内存的部分就把该分区写入磁盘的临时段，此时要有较大的临时段从而尽量提高I/O 的性能。临时段中的分区都需要换进内存做hash join。这时候成本接近于全表扫描小表+分区数*全表扫描大表的代价和。
至于两个表都进行分区，其好处是可以使用parallel query，就是多个进程同时对不同的分区进行join，然后再合并。但是复杂。
以下条件下hash join可能有优势：
两个巨大的表之间的连接。
在一个巨大的表和一个小表之间的连接。

合并连接：
对连接的每个表做table access full；
对table access full的结果按照连接键进行排序；
进行merge join对排序结果进行合并。
Sort merge join性能开销几乎都在前两步。相较于前两种连接，合并连接的速度最快的。但也看数据库的索引和数据量情况。

通常情况下河西连接的效果都比合并连接要好，然而如果行源已经被排过序，在执行合并连接时不需要再排序了，这时合并连接的性能会优于哈希连接。
在全表扫描比索引范围扫描再通过rowid进行表访问更可取的情况下，合并会比嵌套性能更佳。

各类关系型数据库都有相应参数可以强制指定那一种连接进行测试。。。