Mysql 执行计划实战

Posted 2022-12-02 wenniuwuren

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Mysql 执行计划实战相关的知识，希望对你有一定的参考价值。

一、概念解析
执行计划大多数人都听过，都用来做 mysql 性能优化的辅助工具，以下先针对各个执行计划的字段进行解释

1、id (JSON name : select_id)
select 唯一标识。它是在SELECT查询中的顺序编号。如果这一行表示其他行的union结果，这个值可以为空。在这种情况下，table列会显示为形如<union M,N>，表示它是id为M和N的查询行的联合结果。

2、select_type

`select_type` Value	JSON Name	Meaning
`SIMPLE`	None	Simple `SELECT` (不用union和子查询)
`PRIMARY`	None	Outermost `SELECT。有union操作或有子查询的select，位于最外层的单位查询的select_type为primary`
`UNION`	None	Second or later `SELECT` statement in a `UNION` `union连接的select查询，除了第一个表外，第二个及以后的查询select_type都是union`
`DEPENDENT UNION`	`dependent` (`true`)	Second or later `SELECT` statement in a `UNION`, dependent on outer query。出现在union语句中，但是这个查询要受到外部查询的影响
`UNION RESULT`	`union_result`	Result of a `UNION`. union的结果集，因为它不需要参与查询，所以id字段为null
`SUBQUERY`	None	First `SELECT` in subquery 除from中子查询外，其他地方子查询
`DEPENDENT SUBQUERY`	`dependent` (`true`)	First `SELECT` in subquery, dependent on outer query 除from中子查询外，其他地方子查询，但结果依赖于外部查询
`DERIVED`	None	Derived table from语句中出现的子查询
`DEPENDENT DERIVED`	`dependent` (`true`)	Derived table dependent on another table from语句中出现的子查询，但结果依赖其他表
`MATERIALIZED`	`materialized_from_subquery`	Materialized subquery 被物化的子查询
`UNCACHEABLE SUBQUERY`	`cacheable` (`false`)	A subquery for which the result cannot be cached and must be re-evaluated for each row of the outer query 一个子查询的结果不能被缓存，必须被重新计算
`UNCACHEABLE UNION`	`cacheable` (`false`)	The second or later select in a `UNION` that belongs to an uncacheable subquery (see`UNCACHEABLE SUBQUERY`) union 查询中，一个子查询的结果不能被缓存，必须被重新计算

3、table

表示查询的表名。也可能是以下几种值：

<union M, N>：这行指的是 union 查询中 id 为 M 和 N 的行的结果集
<derived N>：这行指的是 id 为 N 的子查询产生的结果集
<subquery N>：这行指的是 id 为 N的物化子查询的结果

4、partitions

版本5.7以前，该项是explain partitions显示的选项，5.7以后成为了默认选项。

查询中命中记录的分片。NULL 表示没有分片的表。

5、type 查询类型
依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，index_merge，unique_subquery，index_subquery，range，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引

range 一般就是可以接受的类型了，从经验看 range 很多都已经10ms以下。

A：system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index
B：const：使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描
C：eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref
D：ref：不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。
E：fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引
F：ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多。
例如：
SELECT * FROM ref_table
WHERE key_column=expr OR key_column IS NULL;
G：index_merge：表示查询使用了两个以上的索引，最后取交集或者并集，常见and ，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取多个索引，性能可能大部分时间都不如range
H：unique_subquery：用于where中的in形式子查询，子查询返回不重复值唯一值
I：index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重。
J：range：索引范围扫描，常见于使用 =, <>, >, >=, <, <=, IS NULL, <=>, BETWEEN, IN()或者like等运算符的查询中。
K：index：索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。索引扫描的两种情况，一种是查询使用了覆盖索引，那么它只需要扫描索引就可以获得数据，这个效率要比全表扫描要快，因为索引通常比数据表小，而且还能避免二次查询。在extra中显示Using index，反之，如果在索引上进行全表扫描，没有Using index的提示。
L：all：这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录。

6、possible_keys

可能用到的索引

7、key

最终用到的索引。可能不是 possible_keys 中的，因为 possible_keys 里面没有合适的。

可以强制Mysql使用或者不实用某个索引，使用 FORCE INDEX, USE INDEX, or IGNORE INDEX ，例如：

SELECT *
FROM `publisher_index_1346`  `publisher_index` force index(idx_memberid_status_role_tkcreatetimeid_tradeid)
WHERE 1=1;

8、key_len 索引具体使用长度

因为存储格式，如果字段为NULL，则需要比 NOT NULL 多一个存储空间

9、ref

如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func

10、rows

表明 MySQL 觉得它必须扫描的行数。

在 InnoDB 表，这个数值是一个预估值，可能不准确。

11、filtered

MySQL 5.7 版本默认有这个字段。

指的是预估将会被where过滤的表行数的百分比。最大值是100，意思是没有行的过滤发生。值从100下降说明增加过滤数量。 rows上面说过是将会被扫描的行数， rows * filtered 表示多少行将会参与下一个表的连接。举个例子，如果 rows=1000，fitered = 50（即50%），参与后续连表查询的行数为 1000*0.5=500。

补充点扩展内容，MySQL 第一步会使用一个索引，比如使用索引要扫描，使用一个type=range的扫描，预估扫描行数rows=10。这一步不是过滤。
然后，这rows=10的行要进行下一步过滤，一般就是 where里面的其他过滤条件（去掉索引项），如果 filtered=10%，那么 10*0.1=1 还剩下1条。
一个好的索引，将会第一步就把 rows 下降下来，而不是靠第二步fitler来过滤。全表扫描：rows=1000，filtered=0.1%，索引扫描 rows=1，filtered=100%，如果有一个非常好的索引。

其实可以完全忽略这个 filtered 数值，专注在更重要的字段，特别是 type，key，extra 来优化慢查询。比如消除掉 filesort（通过索引满足 order by），就算这时候 filtered 值很低。
一个更好的 type 可以带来非常大的性能提升，就算filtered没变或者变更小了。比如上面的例子 filtered=0.1%，type=all 这个就表明你要增加一个索引来提升性能，不需要看filtered。

12、Extra

如果你想要优化你的查询，那就要注意extra辅助信息中的using filesort和using temporary，这两项非常消耗性能，需要注意。
这个列可以显示的信息非常多，有几十种，常用的有：
A：distinct：在select部分使用了distinc关键字
B：no tables used：不带from字句的查询或者From dual查询
C：使用not in()形式子查询或not exists运算符的连接查询，这种叫做反连接。即，一般连接查询是先查询内表，再查询外表，反连接就是先查询外表，再查询内表。
D：using filesort：排序时无法使用到索引时，就会出现这个。常见于order by和group by语句中
E：using index：查询时不需要回表查询，直接通过索引就可以获取查询的数据。
F：using join buffer（block nested loop），using join buffer（batched key accss）：5.6.x之后的版本优化关联查询的BNL，BKA特性。主要是减少内表的循环数量以及比较顺序地扫描查询。
G：using sort_union，using_union，using intersect，using sort_intersection：
using intersect：表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集
using union：表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集
using sort_union和using sort_intersection：与前面两个对应的类似，只是他们是出现在用and和or查询信息量大时，先查询主键，然后进行排序合并后，才能读取记录并返回。
H：using temporary：表示使用了临时表存储中间结果。临时表可以是内存临时表和磁盘临时表，执行计划中看不出来，需要查看status变量，used_tmp_table，used_tmp_disk_table才能看出来。
I：using where：表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤。查询条件中分为限制条件和检查条件，5.6之前，存储引擎只能根据限制条件扫描数据并返回，然后server层根据检查条件进行过滤再返回真正符合查询的数据。5.6.x之后支持ICP特性，可以把检查条件也下推到存储引擎层，不符合检查条件和限制条件的数据，直接不读取，这样就大大减少了存储引擎扫描的记录数量。extra列显示using index condition
J：firstmatch(tb_name)：5.6.x开始引入的优化子查询的新特性之一，常见于where字句含有in()类型的子查询。如果内表的数据量比较大，就可能出现这个
K：loosescan(m..n)：5.6.x之后引入的优化子查询的新特性之一，在in()类型的子查询中，子查询返回的可能有重复记录时，就可能出现这个
除了这些之外，还有很多查询数据字典库，执行计划过程中就发现不可能存在结果的一些提示信息

二、实战

表结构：64 分库 1024 表

CREATE TABLE `publisher_index_0000` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
  `gmt_create` datetime NOT NULL COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL COMMENT '修改时间',
  `tb_trade_id` bigint(20) NOT NULL COMMENT '子订单号',
  `tb_trade_parent_id` bigint(20) NOT NULL COMMENT '父订单号',
  `member_id` bigint(20) NOT NULL COMMENT '推广者Id',
  `role` smallint(6) NOT NULL COMMENT '推广者角色：2,3,4, 99(cp)',
  `tk_status` smallint(6) NOT NULL COMMENT '订单状态',
  `tk_trade_create_time` datetime DEFAULT NULL COMMENT 'tk订单创建时间',
  `tk_trade_paid_time` datetime DEFAULT NULL COMMENT 'tk订单付款完成时间',
  `tk_trade_finish_time` datetime DEFAULT NULL COMMENT 'tk订单完成时间(确认收货/关闭)',
  `tk_earning_time` datetime DEFAULT NULL COMMENT 'tk结算时间(收到结算消息时的系统时间)',
  `tk_trade_create_time_id` varchar(40) DEFAULT NULL COMMENT 'tk创建时间id，用于分页查询',
  `tk_trade_paid_time_id` varchar(40) DEFAULT NULL COMMENT 'tk付款时间id，用于分页查询',
  `tk_earning_time_id` varchar(40) DEFAULT NULL COMMENT 'tk结算时间id，用于分页查询',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_tradeid_role` (`member_id`,`tb_trade_id`,`role`),
  KEY `idx_memberid_tkcreatetimeid_tradeid` (`member_id`,`tk_trade_create_time_id`,`tb_trade_id`),
  KEY `idx_memberid_tkpaidtimeid_tradeid` (`member_id`,`tk_trade_paid_time_id`,`tb_trade_id`),
  KEY `idx_memberid_tkearningtimeid_tradeid` (`member_id`,`tk_earning_time_id`,`tb_trade_id`),
  KEY `idx_memberid_role_tkcreatetimeid_tradeid` (`member_id`,`role`,`tk_trade_create_time_id`,`tb_trade_id`),
  KEY `idx_memberid_role_tkpaidtimeid_tradeid` (`member_id`,`role`,`tk_trade_paid_time_id`,`tb_trade_id`),
  KEY `idx_memberid_role_tkearningtimeid_tradeid` (`member_id`,`role`,`tk_earning_time_id`,`tb_trade_id`),
  KEY `idx_memberid_status_tkcreatetimeid_tradeid` (`member_id`,`tk_status`,`tk_trade_create_time_id`,`tb_trade_id`),
  KEY `idx_memberid_status_tkpaidtimeid_tradeid` (`member_id`,`tk_status`,`tk_trade_paid_time_id`,`tb_trade_id`),
  KEY `idx_memberid_status_tkearningtimeid_tradeid` (`member_id`,`tk_status`,`tk_earning_time_id`,`tb_trade_id`),
  KEY `idx_memberid_status_role_tkcreatetimeid_tradeid` (`member_id`,`tk_status`,`role`,`tk_trade_create_time_id`,`tb_trade_id`),
  KEY `idx_memberid_status_role_tkpaidtimeid_tradeid` (`member_id`,`tk_status`,`role`,`tk_trade_paid_time_id`,`tb_trade_id`),
  KEY `idx_memberid_status_role_tkearningtimeid_tradeid` (`member_id`,`tk_status`,`role`,`tk_earning_time_id`,`tb_trade_id`),
  KEY `idx_update_time` (`gmt_modified`,`tk_status`)
) ENGINE=InnoDB AUTO_INCREMENT=1257821 DEFAULT CHARSET=utf8mb4 COMMENT='推广者索引表'
;

1、原始语句

SELECT `tk_trade_create_time_id`,`tb_trade_id`,`member_id`,`role`
FROM `table_a`  
WHERE (`tk_trade_create_time_id` > '1557158391_')
	AND (`tk_trade_create_time_id` < '1564934392_')
	AND (`member_id` = ?)
	AND `role` IN (?, ?, ?)
	AND `tk_status` IN (?, ?, ?, ?)
ORDER BY `tk_trade_create_time_id` DESC
LIMIT 0, 7;

2、强制走索引

explain select  `tk_trade_create_time_id`,`tb_trade_id`,`member_id`,`role`
from `table_a`  force index(idx_memberid_tkcreatetimeid_tradeid)
WHERE `member_id` = ？ and `tk_trade_create_time_id` > '1556985530_' AND `tk_trade_create_time_id` < '1564761531_')
       AND `publisher_index`.`role` IN (?,?,?))
       AND `publisher_index`.`tk_status` IN (?,?,?,?))
order by `tk_trade_create_time_id` desc 
limit 0,7;

3、select *

explain select *
from `table_a` 
WHERE `member_id` = ? and `tk_trade_create_time_id` > '1556985530_' AND `tk_trade_create_time_id` < '1564761531_')
       AND `publisher_index`.`role` IN (?,?,?))
       AND `publisher_index`.`tk_status` IN (?,?,?,?))
order by `tk_trade_create_time_id` desc 
limit 0,7;

	1、不带force index	2、带force index或者 3、select*
explain的差异	id: 1 select_type: SIMPLE table: table_a partitions: NULL type: index possible_keys: ... key: idx_memberid_tkcreatetimeid_tradeid key_len: 179 ref: NULL rows: 29 filtered: 0.52 Extra: Using where	id: 1 select_type: SIMPLE table: table_a partitions: NULL type: range possible_keys: ... key: idx_memberid_tkcreatetimeid_tradeid key_len: 171 ref: NULL rows: 260290 filtered: 12.00 Extra: Using index condition; Using where
explain的行为分析	通过optimizer_trace可以看到，index走的是ref(member_id), 然后对于每索引项中的每一行，通过full table scan来回表做where过滤。	通过index上的range scan扫描index, 对于索引项range中的每一条记录，通过PK lookup回表做where过滤。
low-limit下的一个特殊的优化点	optimizer认为在low-limit(此例为7行)下，可能用full table scan能更高效。因为有索引可以覆盖order by，采用索引消除filesort开销。对于索引项再full table scan。本例中估算的rows=29，在这个如此低的值下，做full table scan是可以理解的。
实际执行的问题	ref的实际记录为166897行，对于每条ref上的记录，回表进行table scan来扫描。因为tk_trade_create_time_id的过滤性非常弱(166897->131826)，所以只要scan到对应的PK，tk_trade_create_time_id是容易满足的。但scan到对应PK需要扫描的记录较大(filter较低，即where中其它的过滤条件较差）。虽然只需要找到7条，但对一条都需要扫描大量记录。	range的实际记录为131826行，对于每个记录来对PK lookup，但有limit，实际上只需要处理7条记录，性能非常好。其filter为12, 很容易经过几次pk点查就能找到一条。因为是sorted index, 只需要总共找到limit条即可
原因分析	在本例中，主要问题是通过ref后估算出的full table scan的行数过小，从而选择了较差的访问方式。而最优的则是选择range，从而有更小的cost.

这个问题是 MySQL 特定版本下的一个 bug

Mysql 执行计划实战

相关的修复记录