mysql慢查询

Posted 2021-02-20 Lumos

1.什么是慢查询

mysql的慢查询，全名是慢查询日志，是MySQL提供的一种日志记录，用来记录在MySQL中响应时间超过阀值的语句。

具体环境中，运行时间超过long_query_time值的SQL语句，则会被记录到慢查询日志中。

long_query_time的默认值为10，意思是记录运行10秒以上的语句。

默认情况下，MySQL数据库并不启动慢查询日志，需要手动来设置这个参数。

 

 

如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。

此外，慢查询日志支持将日志记录写入文件和数据库表。

2.MySQL 慢查询的相关参数解释：

•  slow_query_log：是否开启慢查询日志，1表示开启，0表示关闭。
•  log-slow-queries ：旧版（5.6以下版本）MySQL数据库慢查询日志存储路径。可以不设置该参数，系统则会默认给一个缺省的文件host_name-slow.log
•  slow-query-log-file：新版（5.6及以上版本）MySQL数据库慢查询日志存储路径。可以不设置该参数，系统则会默认给一个缺省的文件host_name-slow.log
•  long_query_time：慢查询阈值，当查询时间多于设定的阈值时，记录日志。
•  log_queries_not_using_indexes：未使用索引的查询也被记录到慢查询日志中（可选项）。
•  log_output：日志存储方式。log_output=‘FILE‘表示将日志存入文件，默认值是‘FILE‘。log_output=‘TABLE‘表示将日志存入数据库。
• 那么如何进行慢查询日志的配置呢？默认情况下slow_query_log的值为OFF，表示慢查询日志是禁用的，可以通过设置slow_query_log的值来开启

如下所示：

如何开启慢查询：

　　　　1）在服务器上找到mysql的配置文件my.cnf , 然后再mysqld模块里追加一下内容。（需要重启）

 1 vim my.cnf
 2 [mysqld]
 3 slow_query_log = ON
 4 #定义慢查询日志的路径
 5 slow_query_log_file = /tmp/slow_querys.log
 6 #定义查过多少秒的查询算是慢查询，我这里定义的是1秒，5.6之后允许设置少于1秒，例如0.1秒
 7 long_query_time = 1
 8 #用来设置是否记录没有使用索引的查询到慢查询记录,默认关闭,看需求开启,会产生很多日志,可动态修改
 9 #log-queries-not-using-indexes
10 管理指令也会被记录到慢查询。比如OPTIMEZE TABLE, ALTER TABLE,默认关闭,看需求开启,会产生很多日志,可动态修改
11 #log-slow-admin-statements

　　　　2）通过修改mysql的全局变量来处理（不需要重启，不过重启后失效）

 1 #开启慢查询功能，1是开启，0是关闭
 2 mysql> set global slow_query_log=1;
 3 #定义查过多少秒的查询算是慢查询，我这里定义的是1秒，5.6之后允许设置少于1秒，例如0.1秒
 4 mysql> set global long_query_time=1;
 5 #定义慢查询日志的路径
 6 mysql> set global slow_query_log_file=‘/tmp/slow_querys.log‘;
 7 #关闭功能：set global slow_query_log=0;
 8 然后通过一下命令查看是否成功
 9 mysql> show variables like ‘long%‘;
10 mysql> show variables like ‘slow%‘;
11 #设置慢查询记录到表中
12 #set global log_output=‘TABLE‘;

使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效，MySQL重启后则会失效。如果要永久生效，就必须修改配置文件my.cnf（其它系统变量也是如此）

 set global slow_query_log=1; 

my.cnf要增加或修改参数slow_query_log 和slow_query_log_file，如下所示：

1 slow_query_log = 1
2 slow_query_log_file = /tmp/mysql_slow.log

slow_query_log_file这个参数用于指定慢查询日志的存放路径，缺省情况是host_name-slow.log文件。

+---------------------+-----------------------------------------------+
| Variable_name       | Value                                         |
+---------------------+-----------------------------------------------+
| slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
+---------------------+-----------------------------------------------+
1 row in set (0.00 sec)

慢查询日志内容及字段意义

tail -f  slow_query.log
# Time: 110107 16:22:11
# User@Host: root[root] @ localhost []
# Query_time: 9.869362 Lock_time: 0.000035 Rows_sent: 1 Rows_examined: 6261774
SET timestamp=1294388531;
select count(*) from ep_friends;
--------------------------------------------------------------------------------------------------------------
- Time：SQL查询执行的时间
- User@Host：执行SQL查询的连接信息，用户和连接IP
- Query_time,这条SQL执行的时间,越长则越慢
    - Lock_time,在MySQL服务器阶段(不是在存储引擎阶段)等待表锁时间
    - Rows_sent,查询返回的行数
    - Rows_examined,查询检查的行数，越长就当然越费时间
SET timestamp：设置时间戳，没有实际意义，只是和Time对应执行时间。
最后,执行的sql语句记录信息，因为sql可能会很长。

开启了慢查询日志后，什么样的SQL才会记录到慢查询日志里面呢？

这个是由参数long_query_time控制

• 默认情况下long_query_time的值为10秒，可以使用命令修改，也可以在my.cnf参数里面修改。
• 关于运行时间正好等于long_query_time的情况，并不会被记录下来；也就是说，在mysql源码里是判断大于long_query_time，而非大于等于。
• 从MySQL 5.1开始，long_query_time开始以微秒记录SQL语句运行时间，之前仅用秒为单位记录。如果记录到表里面，只会记录整数部分，不会记录微秒部分
• 注意，某些情况下当你使用局部设置的方式时可能会出现如下情况，来看下面：

+-----------------+-----------+
 | Variable_name   | Value     |
 +-----------------+-----------+
 | long_query_time | 10.000000 |
 +-----------------+-----------+
set global long_query_time=4;
# 设置当前long_query_time时间
show variables like ‘long_query_time‘;
# 再次查看long_query_time时间

• 如上所示，修改了变量long_query_time，但是查询变量long_query_time的值还是10，难道没有修改到呢？注意：使用命令 set global long_query_time=4修改后，需要重新连接或新开一个会话才能看到修改值。用show variables like ‘long_query_time‘查看只是当前会话的变量值。也可以不用重新连接会话，而是用show global variables like ‘long_query_time‘;。
• log_output参数指定慢查询日志的存储方式：
• l log_output=‘FILE‘表示将日志存入文件，默认值也是‘FILE‘。
• l log_output=‘TABLE‘表示将日志存入数据库，这样日志信息就会被写入到mysql.slow_log表中。同时也支持两种日志存储方式，配置的时候以逗号隔开即可，如：log_output=‘FILE,TABLE‘。
• 日志记录到系统的专用日志表中，要比记录到文件耗费更多的系统资源。因此对于需要启用慢查询日志，又需要能够获得更高的系统性能，那么建议优先记录到文件。

如何解决慢查询问题

　　　　要解决慢查询，就是优化这些查询缓慢的语句，或是重新组织自己的数据。

　　　　重新组织数据的表现形式是分表。对于成熟的业务系统而言，分表的代价是极高的。所以如何组织一张表仍然是建表的重要决策。

　　　　因此，优化语句才是解决慢查询的基本方法。

优化语句

　　　　1）索引。为合适的列添加合适的索引往往能有效解决问题。

　　　　关于索引有一个需要注意的地方，即，使用LIKE关键字时，如果匹配字符串的第一个字符为‘%‘，那么索引不会起作用。‘%‘必须不能再第一个位置。

　　　　2）通过explain命令获取语句的执行计划，以了解到MySQL是否使用了预期的索引来帮助查询。

　　　　explain用于显示mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。在select语句前加上explain就可以了。

　　　　例如：explain select surname,first_name form a,b where a.id=b.id

　　　　3）分解关联查询。

　　　　将一个大的查询分解为多个小查询。尽量多的采用单表查询。多表的连接可以分解到应用中去做。

　　　　4）分页。

　　　　分页是一个常见的情景。分页通常会使用limit加上偏移量的方法实现，同时加上合适的order by 子句。

　　　　如果有对应的索引，通常效率会不错，否则MySQL需要做大量的文件排序操作。

　　　　但是，当偏移量非常大的时候，例如可能是limit 10000,20这样的查询，MySQL需要查询10020条，但是只返回最后20条，这样的代价很高。

　　　　优化此类查询的一个最简单的方法是尽可能的使用索引覆盖扫描，而不是查询所有的列。然后根据需要做一次关联操作再返回所需的列。

　　　　对于偏移量很大的时候这样做的效率会得到很大提升。

　　　　例：

select id,title from collect limit 10000,10;

　　　　该语句存在的最大问题在于limit M,N中偏移量M太大（暂不考虑筛选字段上要不要添加索引的影响），导致每次查询都要先从整个表中找到满足条件 的前M条记录，之后舍弃这M条记录并从第M+1条记录开始再依次找到N条满足条件的记录。如果表非常大，且筛选字段没有合适的索引，且M特别大那么这样的代价是非常高的。如果我们下一次的查询能从前一次查询结束后标记的位置开始查找，找到满足条件的100条记录，并记下下一次查询应该开始的位置，以便于下一次查询能直接从该位置开始，这样就不必每次查询都先从整个表中先找到满足条件的前M条记录，舍弃，在从M+1开始再找到100条满足条件的记录了。比如说，先查询出10000条数据对应的主键id的值，然后通过该id的值直接查询该id后面的数据。

　　　　例：

select * from a where id in (select id from b );

 

　　　　对于这条sql语句，它的执行计划其实并不是先查询出b表的所有id,然后再与a表的id进行比较。MySQL会把in子查询转换成exists相关子查询，所以它实际等同于这条sql语句：

　　　　　

select * from a where exists(select * from b where b.id=a.id );

　　　　而exists相关子查询的执行原理是: 循环取出a表的每一条记录与b表进行比较，比较的条件是a.id=b.id . 看a表的每条记录的id是否在b表存在，如果存在就行返回a表的这条记录。

　　　　5）exists查询的弊端

　　　　由exists执行原理可知，a表(外表)使用不了索引，必须全表扫描，因为是拿a表的数据到b表查。而且必须得使用a表的数据到b表中查（外表到里表中），顺序是固定死的。