MySQL表连接之驱动表与被驱动表

Posted 2023-04-25

参考技术A

众所周知， mysql的驱动表与被驱动表是优化器自动优化选择的结果 （与表连接的前后顺序等无关），我们可以用explain执行计划来知晓：

如上所示，前面一行t1是驱动表，后面一行t2是被驱动表。那么驱动表与被驱动表的选择是否有规律可循呢？下面是百度搜索两个主流的博文对驱动表与被驱动表的阐释：
1. MySQL连接查询驱动表被驱动表以及性能优化 - 阿伟~ - 博客园 博文A 主要结论：

2. mysql驱动表与被驱动表及join优化_java小小小黑的博客-CSDN博客_mysql驱动表和被驱动表 博文B 其主要结论：

两个帖子的结论是都差不多，而且还给出了例子来佐证。那么网上的结论是否权威？是否有普遍性？是否存在缺陷？

让我们来一起打破砂锅问到底。下面有两张表结构一模一样的表t1,t2：其中t1 100条数据，t2 1000条数据；t1（t2）结构如下：

按照上面博文的结论，left join左边是t2表，应该是驱动表。我们查看下结果：

与 博文B 中观点1相违背（同理观点2也违背），与实际不符，但究竟这是为什么呢？
下面发一张MySQL的执行过程（来源于《MySQL实战45讲》中01讲【一条SQL查询语句是如何执行的】）

so die si ne，原来sql执行的过程是这样呀。等等，不对，这跟刚才SQL又有什么关系，上面left join中t2表还是左边的呀。

我们知道MySQL高版本的性能越来越好，它是不断进行优化迭代的。远古的mysql版本可能还需要人工把小表放在前面，大表放在后面等这些需要人工调优的经验早就已经被解决了。也就是说我们写的语句，MySQL为了追求更好的效率，它在执行器执行前已经帮我们优化了。那么实际优化后的sql如何查看呢？用show warning命令：

其中Message就是优化后实际执行的sql语句，格式化后如下：

优化后left join左连接变成了内连接(inner) join。所以用优化后的sql看，表t1是小表所以作为驱动表，与实际结果相符。

left join 竟然优化成了join,太神奇了，但这是为什么呢？原因在于mysql中null与任何值做等值或者不等值比较的时候都是null，即使是select null=null 也是null。这样where 条件t1.a=t2.a查询条件不会包含t2.a为NULL的行，实际效果其实跟join一样，被优化器智能的优化了。

我们直接看执行计划看实际结果吧：

结果显示t2是驱动表，t1是被驱动表。t2是1000条数据按理说是大表应该是被驱动表，与 博文A ， 博文B 的结论又不一致了。

《MySQL实战45讲》中34讲【到底可不可以使用join】已经讲的很透彻了，很深入了，我就不在这里献丑了。啰嗦几句大概就是驱动表是全表扫描不走索引，所以选被驱动表t1可以走索引，不会全表扫描，减少IO次数，性能高。里面对大表小表的总结，简直是精髓，特意在此再次着重强调：

在决定哪个表做驱动表的时候，应该是两个表按照各自的条件过滤，过滤完成之后，计算参与join的各个字段的总数据量，数据量小的那个表，就是“小表”，应该作为驱动表。

按照上面分析，我们先独立思考下MySQL会选择哪张表作为驱动表呢？

表t1,t2在字段a上都有索引不会全表扫描，其中t1.a=5条件过滤后只有一条，很显然嘛，t1数据量少是小表，肯定是驱动表，错不了，再说了前面的红色粗体已经强调了，不会有错的。

有冇搞错？事实又被打脸了。还记得在开篇我们说过的mysql优化器会对sql语句进行优化的吗？下面我们看下执行计划与优化的sql语句：

格式化后的优化SQL如下：

优化后两表t1,t2都走索引，并且都只有一条结果返回，因此都只会扫描一行，数据量一样，所以谁在前面谁就是驱动表，也就是上面sql中表t2。一切都释然，豁然开通！

回头再仔细想想，高，实在是高！仔细深思之后MySQL优化后的句子真让人猛拍大腿。高明之处在于：
1. 本来join连接是个M*N的嵌套循环，优化后变成了M+N的判断，两表不再嵌套判断了。
2. 优化后，两表没有多大必然联系，只需把两表的结果集拼接即可，互不干扰。如果mysql未来可以多线程查询，岂不十分快哉！

小伙伴们还记得我们在上一章 MySQL索引初探 中编码类型不一致发生隐式转换时有时候走索引，有时候索引又失效的问题吗？下面我们选取有代表性的一条记录来分析：

其中表demo_test总共有640条数据，demo_test_ass有3条数据。显然经过过滤条件t.rid>1完成后demo_test_ass数据量小，应该作为驱动表。虽然test.c_utf8mb4 = t.c2两字段连接中发生了t.c2字段发生隐式转换，但是实际上并不影响被驱动表test上的c_utf8mb4索引。

好了，本章到此结束，让我们一起 总结一下MySQL驱动表与被驱动表的选取原则 ：

หน ง 同等条件，优先选取有索引的表作为被驱动表。 在此介绍一下什么叫同等条件，比如上面的②中的语句。 两表没有其他额外的过滤条件，因此选关联字段有索引的t1作为被驱动表。但是如果加了条件(and t1.id=3)，此时t1数据量少，就选取了t2作为被驱动表。

สอง MySQL选择驱动表与被驱动表是基于优化器优化后的，小表是驱动表，大表是被驱动表。 基于优化器优化后开篇的 博文A与B 结论成立。

当然这都是我一家之言，并不是官方结论，目前暂未找到官方确切对于驱动表与被驱动表的解释，请大家踊跃拍砖！

MySQL--什么情况下不建议使用join查询

关于join

当需要查询两个表的交集、并集等数据时，除了嵌套子查询的方式外，还可以使用join的方式提升性能。对于MySQL的join语句，需要两个最基础的“角色”：主表即驱动表，关联表即驱动表。join描述的就是驱动表与被驱动表的关联关系。MySQL有三种关联逻辑处理策略，分别为：Index Nested-Loop Join、Simple Nested-Loop Join、Block Nested-Loop Join。在编写SQL时，需要配合explain使语句选择性能最优的策略。

Index Nested-Loop Join

索引嵌套循环连接，MySQL选择驱动表与被驱动表关联逻辑之一。

当使用该策略时，MySQL的执行流程为：

1. 从驱动表中读入一行数据 R；
2. 从数据行 R 中，取出 a 字段到被驱动表里去查找；
3. 取出被驱动表中满足条件的行，跟 R 组成一行，作为结果集的一部分；
4. 重复执行步骤 1 到 3，直到驱动表的末尾循环结束。

什么情况下MySQL会选择Index Nested-Loop Join？

当驱动表关联被驱动表的字段上具有索引时，会使用本策略。在本策略中，驱动表在where条件筛选完毕后，会扫描全表，被驱动表走索引的树搜索。
假设被驱动表共N行数据，对于Index Nested-Loop Join来说，在查询被驱动表的数据时，会使用二分法进行查找，即时间复杂度为：O(logN)，由于每次在被驱动表查一行数据，要先搜索索引再回表搜索，假设驱动表行数是N，执行整个过程复杂度近似：N+N*2*log2M。

Simple Nested-Loop Join

当被驱动表无可用索引时，在驱动表得到一行数据后，需要拿着该数据去被驱动表扫描全表逐行匹配数据，假设驱动表有N行数据，被驱动表有M行数据，那么扫描总行数则为：N*M行。如果驱动表与被驱动表均有十万行数据，则需要扫描100亿行。

当然，MySQL 也没有使用这个Simple Nested-Loop Join算法，而是使用了另一个叫作“Block Nested-Loop Join”的算法，简称 BNL。

Block Nested-Loop Join

当被驱动表无可用索引时，算法流程为：

1. 把驱动表的数据读入线程内存join_buffer中
2. 扫描被驱动表，把被驱动表的每一行取出来，跟join_buffer中的数据做对比，满足join条件的，作为结果集的一部分返回。

图片引用自极客时间《MySQL实战45讲》。

能不能使用join语句？

1. 如果可以使用 Index Nested-Loop Join 算法，也就是说可以用上被驱动表上的索引，其实是没问题的；
2. 如果使用 Block Nested-Loop Join 算法，扫描行数就会过多。尤其是在大表上的 join 操作，这样可能要扫描被驱动表很多次，会占用大量的系统资源。所以这种 join 尽量不要用。

所以你在判断要不要使用 join 语句时，就是看 explain 结果里面，Extra 字段里面有没有出现“Block Nested Loop”字样。