谁能真正理解hash join/nested loop/merge join

Posted 2023-03-25

这种是 mysql 里最简单、最容易理解的表关联算法。
比如，拿语句 select * from p1 join p2 using(r1) 来说，
先从表 p1 里拿出来一条记录 ROW1，完了再用 ROW1 遍历表 p2 里的每一条记录，并且字段 r1 来做匹配是否相同，以便输出；再次循环刚才的过程，直到两表的记录数对比完成为止。
那看下实际 SQL 的执行计划，
mysql> explain format=json select * from p1 inner join p2 as b using(r1)\G*************************** 1. row ***************************EXPLAIN: "query_block": "select_id": 1, "cost_info": "query_cost": "1003179606.87" , "nested_loop": [ "table": "table_name": "b", "access_type": "ALL", "rows_examined_per_scan": 1000, "rows_produced_per_join": 1000, "filtered": "100.00", "cost_info": "read_cost": "1.00", "eval_cost": "100.00", "prefix_cost": "101.00", "data_read_per_join": "15K" , "used_columns": [ "id", "r1", "r2" ] , "table": "table_name": "p1", "access_type": "ALL", "rows_examined_per_scan": 9979810, "rows_produced_per_join": 997981014, "filtered": "10.00", "cost_info": "read_cost": "5198505.87", "eval_cost": "99798101.49", "prefix_cost": "1003179606.87", "data_read_per_join": "14G" , "used_columns": [ "id", "r1", "r2" ], "attached_condition": "(`ytt_new`.`p1`.`r1` = `ytt_new`.`b`.`r1`)" ] 1 row in set, 1 warning (0.00 sec)

从上面的执行计划来看，表 p2 为第一张表（驱动表或者叫外表），第二张表为 p1，那 p2 需要遍历的记录数为 1000，同时 p1 需要遍历的记录数大概 1000W 条，那这条 SQL 要执行完成，就得对表 p1（内表）匹配 1000 次，对应的 read_cost 为 5198505.87。那如何才能减少表 p1 的匹配次数呢？那这个时候 JOIN BUFFER 就派上用处了 参考技术A *nix系系统：
ES(Unix)
例子: IvS7aeT4NzQPM
说明：Linux或者其他linux内核系统中
长度: 13 个字符
描述：第1、2位为salt，例子中的'Iv'位salt，后面的为hash值
系统：MD5(Unix)
例子：$1$12345678$XM4P3PrKBgKNnTaqG9P0T/
说明：Linux或者其他linux内核系统中
长度：34个字符
描述：开始的$1$位为加密标志，后面8位12345678为加密使用的salt,后面的为hash
加密算法：2000次循环调用MD5加密
系统：SHA-512(Unix)
例子：$6$12345678$U6Yv5E1lWn6mEESzKen42o6rbEm
说明：Linux或者其他linux内核系统中
长度: 13 个字符
描述：开始的$6$位为加密标志，后面8位为salt，后面的为hash
加密算法：5000次的SHA-512加密
系统：SHA-256(Unix)
例子：$5$12345678$jBWLgeYZbSvREnuBr5s3gp13vqi
说明：Linux或者其他linux内核系统中
长度: 55 个字符
描述：开始的$5$位为加密标志，后面8位为salt，后面的为hash
加密算法：5000次的SHA-256加密
系统：MD5(APR)
例子：$apr1$12345678$auQSX8Mvzt.tdBi4y6Xgj.
说明：Linux或者其他linux内核系统中
长度：37个字符
描述：开始的$apr1$位为加密标志，后面8位为salt，后面的为hash
加密算法：2000次循环调用MD5加密
windows系统：
windows
例子：Admin:b474d48cdfc4974d86ef4d24904cdd91
长度：98个字符
加密算法：MD4(MD4(Unicode($pass)).Unicode(strtolower($username)))
mysql
系统：mysql
例子：606717496665bcba
说明：老版本的MySql中
长度：8字节（16个字符）
说明：包括两个字节，且每个字的值不超过0x7fffffff
系统：MySQL5
例子：*E6CC90B878B948C35E92B003C792C46C58C4AF40
说明：较新版本的MySQL
长度：20字节（40位）
加密算法：SHA-1(SHA-1($pass))
其他系统：
系统：MD5(WordPress)
例子：$P$B123456780BhGFYSlUqGyE6ErKErL01
说明：WordPress使用的md5
长度：34个字符
描述：$P$表示加密类型，然后跟着一位字符，经常是字符‘B’，后面是8位salt，后面是就是hash
加密算法：8192次md5循环加密

系统：MD5(phpBB3)
说明：phpBB 3.x.x.使用
例子：$H$9123456785DAERgALpsri.D9z3ht120
长度：34个字符
描述：开始的$H$为加密标志，后面跟着一个字符，一般的都是字符‘9’，然后是8位salt，然后是hash 值
加密算法：2048次循环调用MD5加密
系统：RAdmin v2.x
说明：Remote Administrator v2.x版本中
例子：5e32cceaafed5cc80866737dfb212d7f
长度：16字节（32个字符）
加密算法：字符用0填充到100字节后，将填充过后的字符经过md5加密得到（32位值）
md5加密
标准MD5
例子：c4ca4238a0b923820dcc509a6f75849b
使用范围：phpBB v2.x, Joomla 的 1.0.13版本前，及其他cmd
长度：16个字符
其他的加salt及变形类似：
md5($salt.$pass)
例子:f190ce9ac8445d249747cab7be43f7d5:12
md5(md5($pass))
例子:28c8edde3d61a0411511d3b1866f0636
md5(md5($pass).$salt)
例子:6011527690eddca23580955c216b1fd2:wQ6
md5(md5($salt).md5($pass))
例子: 81f87275dd805aa018df8befe09fe9f8:wH6_S
md5(md5($salt).$pass)
例子: 816a14db44578f516cbaef25bd8d8296:1234本回答被提问者和网友采纳