MySQL优化——Explain分析执行计划详解

Posted 2023-03-29 Keson Z

文章目录

• • 前言
  • 一. 查看SQL执行频率
  • 二. 定位低效率执行SQL
  • 三. explain分析执行计划
  • • 3.1 id
    • 3.2 select_type
    • 3.3 table
    • 3.4 type
    • 3.5 key
    • 3.6 rows
    • 3.7 extra
  • 四. show profile分析SQL

---

前言

在应用的的开发过程中，由于初期数据量小，开发人员写 SQL 语句时更重视功能上的实现，但是当应用系统正式上线后，随着生产数据量的急剧增长，很多 SQL 语句开始逐渐显露出性能问题，对生产的影响也越来越大，此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈，因此我们必须要对它们进行优化，本章将详细介绍在 mysql中优化 SQL 语句的方法。

当面对一个有 SQL 性能问题的数据库时，我们应该从何处入手来进行系统的分析，使得能够尽快定位问题 SQL 并尽快解决问题。

一. 查看SQL执行频率

MySQL 客户端连接成功后，通过 show [session|global] status 命令可以提供服务器状态信息。它可以根据需要加上参数“session”或者“global”来显示 session 级（当前连接）的统计结果和global 级（自数据库上次启动至今）的统计结果。如果不写，默认使用参数是“session”。

下面的命令显示了当前 session 中所有统计参数的值：

show status like 'Com_______';

show status like 'Innodb_rows_%';

Com_xxx 表示每个 xxx 语句执行的次数，我们通常比较关心的是以下几个统计参数。

参数	含义
Com_select	执行 select 操作的次数，一次查询只累加 1。
Com_insert	执行 INSERT 操作的次数，对于批量插入的 INSERT 操作，只累加一次。
Com_update	执行 UPDATE 操作的次数。
Com_delete	执行 DELETE 操作的次数。
Innodb_rows_read select	查询返回的行数。
Innodb_rows_inserted	执行 INSERT 操作插入的行数。
Innodb_rows_updated	执行 UPDATE 操作更新的行数。
Innodb_rows_deleted	执行 DELETE 操作删除的行数。
Connections 试图连接	MySQL 服务器的次数。
Uptime	服务器工作时间。
Slow_queries	慢查询的次数。

Com_*** : 这些参数对于所有存储引擎的表操作都会进行累计。
Innodb_*** : 这几个参数只是针对InnoDB 存储引擎的，累加的算法也略有不同。

二. 定位低效率执行SQL

可以通过以下两种方式定位执行效率较低的 SQL 语句。

• 慢查询日志 : 通过慢查询日志定位那些执行效率较低的 SQL语句，用–log-slow-queries[=file_name]选项启动时，mysqld 写一个包含所有执行时间超过long_query_time 秒的 SQL 语句的日志文件。
• show processlist :慢查询日志在查询结束以后才纪录，所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题，可以使用show processlist命令查看当前MySQL在进行的线程，包括线程的状态、是否锁表等，可以实时地查看 SQL的执行情况，同时对一些锁表操作进行优化。
  

1）id列，用户登录mysql时，系统分配的"connection_id"，可以使用函数connection_id()查看
2）user列，显示当前用户。如果不是root，这个命令就只显示用户权限范围的sql语句
3）host列，显示这个语句是从哪个ip的哪个端口上发的，可以用来跟踪出现问题语句的用户
4）db列，显示这个进程目前连接的是哪个数据库
5）command列，显示当前连接的执行的命令，一般取值为休眠（sleep），查询（query），连接 （connect）等
6) time列，显示这个状态持续的时间，单位是秒
7) state列，显示使用当前连接的sql语句的状态，很重要的列。state描述的是语句执行中的某一个状态。一个sql语句，以查询为例，可能需要经过copying to tmp table、sorting result、sending data等状态
才可以完成
8）info列，显示这个sql语句，是判断问题语句的一个重要依据

三. explain分析执行计划

通过以上步骤查询到效率低的 SQL 语句后，可以通过 EXPLAIN命令获取 MySQL如何执行 SELECT 语句的信息，包括在 SELECT 语句执行过程中表如何连接和连接的顺序。

查询SQL语句的执行计划 ：

explain select * from tb_item where id = 1;

explain select * from tb_item where title = '阿尔卡特 (OT-979) 冰川白 联通3G手机3';

字段	含义
id	select查询的序列号，是一组数字，表示的是查询中执行select子句或者是操作表的顺序。
select_type	表示 SELECT 的类型，常见的取值有 SIMPLE（简单表，即不使用表连接或者子查询）、PRIMARY（主查询，即外层的查询）、UNION（UNION 中的第二个或者后面的查询语句）、SUBQUERY（子查询中的第一个 SELECT）等
table	输出结果集的表
type	表示表的连接类型，性能由好到差的连接类型为( system —> const -----> eq_ref ------> ref-------> ref_or_null----> index_merge —> index_subquery -----> range -----> index ------>all )
possible_keys	表示查询时，可能使用的索引
key	表示实际使用的索引
key_len	索引字段的长度
rows	扫描行的数量
extra	执行情况的说明和描述

3.1 id

id 字段是 select查询的序列号，是一组数字，表示的是查询中执行select子句或者是操作表的顺序。id 情况有三种：

a) id 相同表示加载表的顺序是从上到下。

explain select * from t_role r, t_user u, user_role ur where r.id = ur.role_id and
u.id = ur.user_id ;

b) id 不同id值越大，优先级越高，越先被执行。

EXPLAIN SELECT * FROM t_role WHERE id = (SELECT role_id FROM user_role WHERE user_id
= (SELECT id FROM t_user WHERE username = 'stu1'))

c) id 有相同，也有不同，同时存在。id相同的可以认为是一组，从上往下顺序执行；在所有的组中，id的值越大，优先级越高，越先执行。

EXPLAIN SELECT * FROM t_role r , (SELECT * FROM user_role ur WHERE ur.`user_id` =
'2') a WHERE r.id = a.role_id ;

3.2 select_type

表示 SELECT 的类型，常见的取值，如下表所示：

select_type	含义
SIMPLE	简单的select查询，查询中不包含子查询或者UNION
PRIMARY	查询中若包含任何复杂的子查询，最外层查询标记为该标识
SUBQUERY	在SELECT 或 WHERE 列表中包含了子查询
DERIVED	在FROM 列表中包含的子查询，被标记为 DERIVED（衍生） MYSQL会递归执行这些子查询，把结果放在临时表中
UNION	若第二个SELECT出现在UNION之后，则标记为UNION ； 若UNION包含在FROM子句的子查询中，外层SELECT将被标记为 ： DERIVED
UNION RESULT	从UNION表获取结果的SELECT

3.3 table

展示这一行的数据是关于哪一张表的

3.4 type

type 显示的是访问类型，是较为重要的一个指标，可取值为：

type	含义
null	MySQL不访问任何表，索引，直接返回结果
system	表只有一行记录(等于系统表)，这是const类型的特例，一般不会出现
const	表示通过索引一次就找到了，const 用于比较primary key 或者 unique 索引。因为只匹配一行数据，所以很快。如将主键置于where列表中，MySQL 就能将该查询转换为一个常量。const于将"主键" 或 “唯一” 索引的所有部分与常量值进行比较
eq_ref	类似ref，区别在于使用的是唯一索引，使用主键的关联查询，关联查询出的记录只有一条。常见于主键或唯一索引扫描
ref	非唯一性索引扫描，返回匹配某个单独值的所有行。本质上也是一种索引访问，返回所有匹配某个单独值的所有行（多个）
range	只检索给定返回的行，使用一个索引来选择行。 where 之后出现 between ， < , > , in 等操作。
index	index 与 ALL的区别为 index 类型只是遍历了索引树， 通常比ALL 快， ALL 是遍历数据文件。
all	将遍历全表以找到匹配的行

结果值从最好到最坏依次是null> system > const > eq_ref > ref > range > index > all

一般来说， 我们需要保证查询至少达到 range 级别， 最好达到ref 。

3.5 key

key	含义
possible_keys	显示可能应用在这张表的索引， 一个或多个
key	实际使用的索引， 如果为NULL，则没有使用索引
key_len	表示索引中使用的字节数， 该值为索引字段最大可能长度，并非实际使用长度，在不损失精确性的前 提下，长度越短越好

3.6 rows

扫描行的数量。

3.7 extra

其他的额外的执行计划信息，在该列展示 。

extra	含义
using filesort	说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取， 称为“文件排序”, 效率低。
using temporary	使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于 order by 和group by； 效率低
using index	表示相应的select操作使用了覆盖索引， 避免访问表的数据行， 效率不错。

四. show profile分析SQL

Mysql从5.0.37版本开始增加了对 show profiles 和 show profile 语句的支持。show profiles 能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。

通过 have_profiling 参数，能够看到当前MySQL是否支持profile：

默认profiling是关闭的，可以通过set语句在Session级别开启profiling：

set profiling=1; //开启profiling 开关；

通过profile，我们能够更清楚地了解SQL执行的过程。
首先，我们可以执行一系列的操作，如下图所示：

show databases;
use db01;
show tables;
select * from tb_item where id < 5;
select count(*) from tb_item;

执行完上述命令之后，再执行show profiles 指令， 来查看SQL语句执行的耗时：

通过show profile for query query_id 语句可以查看到该SQL执行过程中每个线程的状态和消耗的时间：

show profile for query query 6

Sending data 状态表示MySQL线程开始访问数据行并把结果返回给客户端，而不仅仅是返回个客户端。由于在Sending data状态下，MySQL线程往往需要做大量的磁盘读取操作，所以经常是整各查询中耗时最长的状态。

在获取到最消耗时间的线程状态后，MySQL支持进一步选择all、cpu、block io 、context switch、page faults等明细类型类查看MySQL在使用什么资源上耗费了过高的时间。例如，选择查看CPU的耗费时间：

show profile cpu for query query 6

字段	含义
Status	sql语句执行的状态
Duration	执行过程中每一个步骤的耗时
CPU_user	当前用户占有的cpu
CPU_system	系统占有的cpu

mysql 执行计划explain详解

explain主要是用来获取一个query的执行计划，描述mysql如何执行查询操作、执行顺序，使用到的索引，以及mysql成功返回结果集需要执行的行数。可以帮助我们分析 select 语句,让我们知道查询效率低下的原因,从而改进我们的查询，让查询优化器能够更好的工作。

explain语法及描述

从上面我们可以看到explain的语法是在select语句之前加上explain关键字就行了。然后在执行explain之后会包括以下列信息：

• id：标识符,表示执行顺序.
• select_type：查询类型。
• table：查询的表。
• partitions：使用的哪个分区,需要结合表分区才能看到(since 5.7)
• type：查询类型,例如index索引
• possible_key：可能用到的索引,如果是多个索引以逗号隔开
• key：实际用到的索引,保存的是索引的名称,如果是多个索引以逗号隔开
• key_len：使用到索引的长度
• ref：引用索引对应的表中哪些行
• rows：显示mysql认为执行查询时必须要返回的行数
• filtered：通过过滤条件之后对比总数的百分比
• Extra：额外的信息,using file sort,using where

1、ID

id表示select标识符，同时表明sql执行顺序，也就是说他是一个序列号.分为三种情况：

1.1 id相同 – 顺序执行

对于以上三表关联查询，我们可以看到id列的值相同，都是1.在这种情况下，它们的执行顺序是按顺序执行，也是就是按列名从上往下执行。

1.2 id全不同 – 数字越大，越先执行

在这里我们可以看到在这个子查询中，ID完全不同。这对这种情况，mysql的执行机制就是数字越大，越先执行。因为要先获取到子查询里的信息做为条件，然后才能查询外面的信息。

1.3 id部分相同 – 先大的执行，小的顺序执行

对于这种id部分相同的情况，其实就是前面2种情况的综合。执行顺序是先按照数字大的先执行，然后数字相同的按照从上往下的顺序执行。

2、select_type – 查询类型

select_type包括以下几种类型：

• simple：表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个
• primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个
• union：union连接的两个select查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union
• dependent union：与union一样，出现在union 或union all语句中，但是这个查询要受到外部查询的影响
• union result：包含union的结果集，在union和union all语句中,因为它不需要参与查询，所以id字段为null
• subquery：除了from字句中包含的子查询外，其他地方出现的子查询都可能是subquery
• dependent subquery：与dependent union类似，表示这个subquery的查询要受到外部表查询的影响
• derived：from字句中出现的子查询，也叫做派生表，其他数据库中可能叫做内联视图或嵌套select

2.1 primary/subquery

explain select * from student s where s. classid = (select id from classes where classno='2017001');

2.2 union / union result

explain select * from student where id = 1 union select * from student where id = 2;

2.3 dependent union/dependent subquery

explain select * from student s where s.classid in (select id from classes where classno='2017001' 
union select id from classes where classno='2017002');

2.4 derived

explain select * from (select * from student) s;

在mysql5.5、mysql5.6.x中：

但是在5.7中显示会不一样：

3、table

显示的查询表名，如果查询使用了别名，那么这里显示的是别名，如果不涉及对数据表的操作，那么这显示为null，如果显示为尖括号括起来的<derived N>就表示这个是临时表，后边的N就是执行计划中的id，表示结果来自于这个查询产生。如果是尖括号括起来的<union M,N>，与<derived N>类似，也是一个临时表，表示这个结果来自于union查询的id为M,N的结果集。

4、partitions – 分区

partitions这列是建立在你的表是分区表才行。

explain select * from test_partition where id > 7;

在5.7之前默认不显示分区信息需要手动指明。

explain partitions select * from emp;

5、type – 查询结果类型

表示按照某种类型来查询，例如按照索引类型查找，按照范围查找，主要是以下几种类型：

• const：表示 表中最多有一个匹配行
• eq_ref：对于每个来自于前面的表的记录，从该表中读取唯一一行
• ref：对于每个来自于前面的表的记录，所有匹配的行从这张表中取出
• ref_or_null：类似于ref，但是可以搜索包含null值的行
• index_merge：出现在使用一张表中的多个索引时，mysql会讲这多个索引合并到一起
• range：按指定的范围来检索，很常见
• index：从索取树中查找
• ALL：全表扫描

从上面的分类描述中我们可以看出来，查询效率是根据从上往下排列的。

5.1 const

使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描

explain select * from student where id = 1;

5.2 eq_ref

对于每个来自于前面的表的记录，从该表中读取唯一一行。

出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref。

explain select * from student s, student ss where s.id = ss.id;

5.3 ref

对于每个来自于前面的表的记录，所有匹配的行从这张表中取出

不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。

explain select * from student s, student_detail sd where s.id = sd.id;

5.4 ref_or_null

类似于ref，但是可以搜索包含null值的行，实际用的不多。

explain select * from student_detail where address = 'xxx' or address is null;

5.5 index_merge

出现在使用一张表中的多个索引时，mysql会讲这多个索引合并到一起.

表示查询使用了两个以上的索引，最后取交集或者并集，常见and ，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取所个索引，性能可能大部分时间都不如range.

5.6 range

索引范围扫描，常见于使用>,<,is null,between ,in ,like等运算符的查询中。

5.7 index

索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。

5.8 ALL

这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录。

6、possible_keys & key

possible_key：查询可能使用到的索引都会在这里列出来。

key：查询真正使用到的索引，select_type为index_merge时，这里可能出现两个以上的索引，其他的select_type这里只会出现一个。

7、key_len

用于处理查询的索引长度，如果是单列索引，那就整个索引长度算进去，如果是多列索引，那么查询不一定都能使用到所有的列，具体使用到了多少个列的索引，这里就会计算进去，没有使用到的列，这里不会计算进去。

留意下这个列的值，算一下你的多列索引总长度就知道有没有使用到所有的列了。要注意，mysql的ICP特性使用到的索引不会计入其中。另外，key_len只计算where条件用到的索引长度，而排序和分组就算用到了索引，也不会计算到key_len中。

如果key字段值为null，则key_len字段值也为null,而且对于key_len越小越好，当然不能为null.

8、ref

如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func

9、rows

这里是执行计划中估算的扫描行数，不是精确值

10、filtered

使用explain extended时会出现这个列，5.7之后的版本默认就有这个字段，不需要使用explain extended了。这个字段表示存储引擎返回的数据在server层过滤后，剩下多少满足查询的记录数量的比例，注意是百分比，不是具体记录数。

11、extra

这个列可以显示的信息非常多，有几十种，常用的有：

• distinct：在select部分使用了distinc关键字
• no tables used：不带from字句的查询或者From dual查询
• 使用not in()形式子查询或not exists运算符的连接查询，这种叫做反连接。即，一般连接查询是先查询内表，再查询外表，反连接就是先查询外表，再查询内表。
• using filesort：排序时无法使用到索引时，就会出现这个。常见于order by和group by语句中
• using index：查询时不需要回表查询，直接通过索引就可以获取查询的数据。
• using join buffer（block nested loop），using join buffer（batched key accss）：5.6.x之后的版本优化关联查询的BNL，BKA特性。主要是减少内表的循环数量以及比较顺序地扫描查询。
• using sort_union，using_union，using intersect，using sort_intersection：
• using intersect：表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集
• using union：表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集
• using sort_union和using sort_intersection：与前面两个对应的类似，只是他们是出现在用and和or查询信息量大时，先查询主键，然后进行排序合并后，才能读取记录并返回。
• using temporary：表示使用了临时表存储中间结果。临时表可以是内存临时表和磁盘临时表，执行计划中看不出来，需要查看status变量，used_tmp_table，used_tmp_disk_table才能看出来。
• using where：表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤。查询条件中分为限制条件和检查条件，5.6之前，存储引擎只能根据限制条件扫描数据并返回，然后server层根据检查条件进行过滤再返回真正符合查询的数据。5.6.x之后支持ICP特性，可以把检查条件也下推到存储引擎层，不符合检查条件和限制条件的数据，直接不读取，这样就大大减少了存储引擎扫描的记录数量。extra列显示using index condition
• firstmatch(tb_name)：5.6.x开始引入的优化子查询的新特性之一，常见于where字句含有in()类型的子查询。如果内表的数据量比较大，就可能出现这个
• loosescan(m..n)：5.6.x之后引入的优化子查询的新特性之一，在in()类型的子查询中，子查询返回的可能有重复记录时，就可能出现这个

除了这些之外，还有很多查询数据字典库，执行计划过程中就发现不可能存在结果的一些提示信息。

12、总结

通过对上面explain中的每个字段的详细讲解。我们不难看出，对查询性能影响最大的几个列是：

• select_type：查询类型
• type：连接使用了何种类型
• rows：查询数据需要查询的行
• key：查询真正使用到的索引
• extra：额外的信息

尽量让自己的SQL用上索引，避免让extra里面出现file sort(文件排序),using temporary(使用临时表)。

参考地址：mysql explain执行计划详解