mysql慢查询

Posted Lumos

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mysql慢查询相关的知识,希望对你有一定的参考价值。

1.什么是慢查询

mysql的慢查询,全名是慢查询日志,是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阀值的语句。

具体环境中,运行时间超过long_query_time值的SQL语句,则会被记录到慢查询日志中。

long_query_time的默认值为10,意思是记录运行10秒以上的语句。

默认情况下,MySQL数据库并不启动慢查询日志,需要手动来设置这个参数。

 

 

如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。

此外,慢查询日志支持将日志记录写入文件和数据库表。

2.MySQL 慢查询的相关参数解释:

  •  slow_query_log:是否开启慢查询日志,1表示开启,0表示关闭。
  •  log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
  •  slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
  •  long_query_time:慢查询阈值,当查询时间多于设定的阈值时,记录日志。
  •  log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
  •  log_output:日志存储方式。log_output=‘FILE‘表示将日志存入文件,默认值是‘FILE‘。log_output=‘TABLE‘表示将日志存入数据库。
  • 那么如何进行慢查询日志的配置呢?默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启

如下所示:

如何开启慢查询:

    1)在服务器上找到mysql的配置文件my.cnf , 然后再mysqld模块里追加一下内容。(需要重启)

 1 vim my.cnf
 2 [mysqld]
 3 slow_query_log = ON
 4 #定义慢查询日志的路径
 5 slow_query_log_file = /tmp/slow_querys.log
 6 #定义查过多少秒的查询算是慢查询,我这里定义的是1秒,5.6之后允许设置少于1秒,例如0.1秒
 7 long_query_time = 1
 8 #用来设置是否记录没有使用索引的查询到慢查询记录,默认关闭,看需求开启,会产生很多日志,可动态修改
 9 #log-queries-not-using-indexes
10 管理指令也会被记录到慢查询。比如OPTIMEZE TABLE, ALTER TABLE,默认关闭,看需求开启,会产生很多日志,可动态修改
11 #log-slow-admin-statements

    2)通过修改mysql的全局变量来处理(不需要重启,不过重启后失效)

 1 #开启慢查询功能,1是开启,0是关闭
 2 mysql> set global slow_query_log=1;
 3 #定义查过多少秒的查询算是慢查询,我这里定义的是1秒,5.6之后允许设置少于1秒,例如0.1秒
 4 mysql> set global long_query_time=1;
 5 #定义慢查询日志的路径
 6 mysql> set global slow_query_log_file=/tmp/slow_querys.log;
 7 #关闭功能:set global slow_query_log=0;
 8 然后通过一下命令查看是否成功
 9 mysql> show variables like long%;
10 mysql> show variables like slow%;
11 #设置慢查询记录到表中
12 #set global log_output=‘TABLE‘;

使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)

 set global slow_query_log=1; 

my.cnf要增加或修改参数slow_query_log 和slow_query_log_file,如下所示:

1 slow_query_log = 1
2 slow_query_log_file = /tmp/mysql_slow.log

slow_query_log_file这个参数用于指定慢查询日志的存放路径,缺省情况是host_name-slow.log文件。

+---------------------+-----------------------------------------------+
| Variable_name       | Value                                         |
+---------------------+-----------------------------------------------+
| slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
+---------------------+-----------------------------------------------+
1 row in set (0.00 sec)

慢查询日志内容及字段意义

tail -f  slow_query.log
# Time: 110107 16:22:11
# User@Host: root[root] @ localhost []
# Query_time: 9.869362 Lock_time: 0.000035 Rows_sent: 1 Rows_examined: 6261774
SET timestamp=1294388531;
select count(*) from ep_friends;
--------------------------------------------------------------------------------------------------------------
- Time:SQL查询执行的时间
- User@Host:执行SQL查询的连接信息,用户和连接IP
- Query_time,这条SQL执行的时间,越长则越慢
    - Lock_time,在MySQL服务器阶段(不是在存储引擎阶段)等待表锁时间
    - Rows_sent,查询返回的行数
    - Rows_examined,查询检查的行数,越长就当然越费时间
SET timestamp:设置时间戳,没有实际意义,只是和Time对应执行时间。
最后,执行的sql语句记录信息,因为sql可能会很长。

开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢?

这个是由参数long_query_time控制

  • 默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。
  • 关于运行时间正好等于long_query_time的情况,并不会被记录下来;也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。
  • 从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。如果记录到表里面,只会记录整数部分,不会记录微秒部分
  • 注意,某些情况下当你使用局部设置的方式时可能会出现如下情况,来看下面:
+-----------------+-----------+
 | Variable_name   | Value     |
 +-----------------+-----------+
 | long_query_time | 10.000000 |
 +-----------------+-----------+
set global long_query_time=4;
# 设置当前long_query_time时间
show variables like long_query_time;
# 再次查看long_query_time时间
  • 如上所示,修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?注意:使用命令 set global long_query_time=4修改后,需要重新连接或新开一个会话才能看到修改值。用show variables like ‘long_query_time‘查看只是当前会话的变量值。也可以不用重新连接会话,而是用show global variables like ‘long_query_time‘;
  • log_output参数指定慢查询日志的存储方式:
  • l log_output=‘FILE‘表示将日志存入文件,默认值也是‘FILE‘。
  • l log_output=‘TABLE‘表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。同时也支持两种日志存储方式,配置的时候以逗号隔开即可,如:log_output=‘FILE,TABLE‘。
  • 日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源。因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。

如何解决慢查询问题

    要解决慢查询,就是优化这些查询缓慢的语句,或是重新组织自己的数据。

    重新组织数据的表现形式是分表。对于成熟的业务系统而言,分表的代价是极高的。所以如何组织一张表仍然是建表的重要决策。

    因此,优化语句才是解决慢查询的基本方法。

优化语句

    1)索引。为合适的列添加合适的索引往往能有效解决问题。

    关于索引有一个需要注意的地方,即,使用LIKE关键字时,如果匹配字符串的第一个字符为‘%‘,那么索引不会起作用。‘%‘必须不能再第一个位置。

    2)通过explain命令获取语句的执行计划,以了解到MySQL是否使用了预期的索引来帮助查询。

    explain用于显示mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。在select语句前加上explain就可以了。

    例如:explain select surname,first_name form a,b where a.id=b.id

    3)分解关联查询。

    将一个大的查询分解为多个小查询。尽量多的采用单表查询。多表的连接可以分解到应用中去做。

    4)分页。

    分页是一个常见的情景。分页通常会使用limit加上偏移量的方法实现,同时加上合适的order by 子句。

    如果有对应的索引,通常效率会不错,否则MySQL需要做大量的文件排序操作。

    但是,当偏移量非常大的时候,例如可能是limit 10000,20这样的查询,MySQL需要查询10020条,但是只返回最后20条,这样的代价很高。

    优化此类查询的一个最简单的方法是尽可能的使用索引覆盖扫描,而不是查询所有的列。然后根据需要做一次关联操作再返回所需的列。

    对于偏移量很大的时候这样做的效率会得到很大提升。

    例:
select id,title from collect limit 10000,10;

    该语句存在的最大问题在于limit M,N中偏移量M太大(暂不考虑筛选字段上要不要添加索引的影响),导致每次查询都要先从整个表中找到满足条件 的前M条记录,之后舍弃这M条记录并从第M+1条记录开始再依次找到N条满足条件的记录。如果表非常大,且筛选字段没有合适的索引,且M特别大那么这样的代价是非常高的。如果我们下一次的查询能从前一次查询结束后标记的位置开始查找,找到满足条件的100条记录,并记下下一次查询应该开始的位置,以便于下一次查询能直接从该位置开始,这样就不必每次查询都先从整个表中先找到满足条件的前M条记录,舍弃,在从M+1开始再找到100条满足条件的记录了。比如说,先查询出10000条数据对应的主键id的值,然后通过该id的值直接查询该id后面的数据。
    例:
select * from a where id in (select id from b );
 
    对于这条sql语句,它的执行计划其实并不是先查询出b表的所有id,然后再与a表的id进行比较。MySQL会把in子查询转换成exists相关子查询,所以它实际等同于这条sql语句:
     
select * from a where exists(select * from b where b.id=a.id );
    而exists相关子查询的执行原理是: 循环取出a表的每一条记录与b表进行比较,比较的条件是a.id=b.id . 看a表的每条记录的id是否在b表存在,如果存在就行返回a表的这条记录。

    5)exists查询的弊端

    由exists执行原理可知,a表(外表)使用不了索引,必须全表扫描,因为是拿a表的数据到b表查。而且必须得使用a表的数据到b表中查(外表到里表中),顺序是固定死的。

 

以上是关于mysql慢查询的主要内容,如果未能解决你的问题,请参考以下文章

mysql数据库插入数据很慢

Logstash分析MySQL慢查询日志

MySQL慢查询日志分析

什么是慢查询?

开启mysql慢查询日志并使用mysqldumpslow命令查看

MySQL 8.0.15 大坝慢选查询