性能测试四十一：sql案例之慢sql配置执行计划和索引

Posted 2021-02-14 后知后觉~

mysql 慢查询使用方法
MYSQL慢查询介绍
分析MySQL语句查询性能的问题时候，可以在MySQL记录中查询超过指定时间的语句，我们将超过指定时间的SQL语句查询称为“慢查询”。MYSQL自带的慢查询分析工具mysqldumpslow可对慢查询日志进行分析：主要功能是, 统计sql的执行信息，其中包括 ：
　　出现次数(Count), 
　　执行最长时间(Time), 
　　累计总耗费时间(Time), 
　　等待锁的时间(Lock), 
　　发送给客户端的行总数(Rows), 
　　扫描的行总数(Rows), 
用户以及sql语句本身(抽象了一下格式, 比如 limit 1, 20 用 limit N,N 表示).

 

案例：慢sql

先确定项目指向的数据库是对的

问题接口：http://localhost:8080/PerfTeach/SlowQuery?cardNO=10001

由于数据库里面是card_no，而代码里面是cardNO，所以要改一下数据库里面的字段名

修改

访问一下：http://localhost:8080/PerfTeach/SlowQuery?cardNO=10001，和数据库里的一样

 

 在jmeter里面造一个10000--20000的随机数函数

 

监控开起来

 

运行jmeter，用10个并发，跑600秒

TPS很低

响应时间很长

CPU高

 mysql进程占了89.9%的cpu使用率

所以，可以确定是mysql这块有问题，而这种问题一般都是sql写的不好造成的

 

 

1、 开启慢SQL的配置
1．1 LIUNX 系统 在mysql配置文件my.cnf中（文件最后）增加

　　slow_query_log：这是一个布尔型变量，默认为真。没有这变量，数据库不会打印慢查询的日志。
　　slow_query_log_file=/usr/local/mysql/data/zhoucentos-slow.log：(指定日志文件存放位置（安装mysql的目录），可以为空，系统会给一个缺省的文件hostName-slow.log)
　　long_query_time=0.1：(记录超过的时间，默认为10s)，与DBA沟通，性能测试分析问题时可以将该值设为0.1即100毫秒，这样分析的粒度更详细。
　　备选 ：log-queries-not-using-indexes (log下来没有使用索引的query,可以根据情况决定是否开启)。log-long-format (如果设置了，所有没有使用索引的查询也将被记录)

重启mysql

 

1．2 Windows下配置:
　　在my.ini的[mysqld]添加如下语句：
　　　　log-slow-queries = E:\\web\\mysql\\log\\mysqlslowquery.log
　　　　long_query_time = 0.1(其他参数如上)

　　注： 配置完成后，重新mysql服务配置才能生效。

2、 慢查询开启与关闭
2．1 配置完成，连接数据库检查慢查询日志是否开启：
命令如下：mysql> show variables like \'%slow_query_log%\';

压一下，看看有没有数据写进去，从172，变成了124800，使用-h查看：122K

 

2．2 如果没有打开，请开启,slow_query_log，以下方法是一次性的，只要重启mysql就会恢复到原样
　　开启命令：mysql> set @@global.slow_query_log = on;
　　关闭命令：mysql> set @@global.slow_query_log = off;
2．3 再次检查是否开启成功
　　mysql> show variables like \'%slow_query_log%\';
2．4 检查目录中是否生成文件
　　/mysql目录下是否存在mysql_slow.log
　　[root@localhost mysql]# ls -l mysql_slow.log 
3、 慢查询日志分析
3.1 Linux系统:
使用mysql自带命令mysqldumpslow查看（需在mysql/bin目录下执行，因为mysqldumpslow在bin目录下）
常用命令，通过 ./mysqldumpslow -help查看

　　-s，是order的排序，主要有 c,t,l,r和ac,at,al,ar，分别是按照query次数，时间，lock的时间和返回的记录数来排序
　　-a，倒序排列
　　-t，是top n的意思，即为返回前面多少条的数据 
　　-g，后边可以写一个正则匹配模式，大小写不敏感的
例如：

./mysqldumpslow -s c -t 20 host-slow.log：访问次数最多的20个sql语句

./mysqldumpslow -s r -t 20 host-slow.log：返回记录集最多的20个sql

./mysqldumpslow -t 10 -s t -g “left join” host-slow.log这个是按照时间返回前10条里面含有左连接的sql语句。
./mysqldumpslow -s at -t 50 host-slow.log 显示出耗时最长的50个SQL语句的执行信息（此方法最常用）

总共执行了602次，平均执行390毫秒，和jmeter统计出来的平均响应时间差不多了，所以，时间都耗在执行sql上面了

由于这里数据量不够，所以找了个项目中的图

以Count: 32 Time=0.26s (8s) Lock=0.00s (0s) Rows=10.0 (320), wos_20120719[wos_20120719]@2host 为例：
Count: 32 该SQL总共执行32次
Time = 0.26s (8s) 平均每次执行该SQL耗时0.26秒，总共耗时32（次）*0.26（秒）=8秒。
Lock=0.00s(0s) lock时间0秒
Rows =10.0(320) 每次执行SQL影响数据库表中的10行记录，总共影响 10（行）*32（次）=320行记录

 

执行计划

在sql语句前加上explain，可以分析这条sql语句的执行情况：explain select * from teacher where cardNO=10000

select_type：

　　SIMPLE：简单查询

Type列可能的值（以下按效率降序排列）：
　　Const：表中只有一个匹配行，用到primary key或unique key　（性能最好）

　　Eq_ref：唯一性索引扫描，key的所有部分被连接联接查询使用，且key是unique或primary key
　　ref：非唯一性索引扫描，或只使用了联合索引的最左前缀
　　Range：索引范围扫描，在索引列上进行给定范围内的检索，如between，in（1,100）
　　Index：遍历索引...（类似于在字典上找字）
　　All：全表扫描（没有用索引，直接从表里面第一条找到最后一条（即使在前面或中间已经找到数据），所以项目中一般禁止使用select*和全表扫描）

所以上面就运行那条简单的sql，确很费cpu，就是因为在进行全表扫描

在工作中，一般有以下3种情况会造成sql效率低：

　　1.库里面没有加索引

　　2.加了索引，但是索引加的不合理

　　3.索引加的合理，但是sql写的不合理

 

 一般，一个表里面，最多加3/4个索引，不能再多，否则就是表设计的不合理

上面那个情况就是应为没有加索引，所以，加个索引看看，

一般加索引，就看where条件的字段，用这些字段来当索引，这条sql就一个字段：cardNO

压一下看看

TPS从刚才的20多变成了300多，提升了15倍左右

响应时间：从刚才的400左右，降到30左右

TOP命令查看，mysql只占了22.2%，一般项目中就应该是tomcat占比最高，应为它要处理业务逻辑

 由于压测还在进行中，所以可以把慢查询的日志清空后再看看还有没有慢查询

文件大小都是0了，没有往文件里面写入内容了

 

3.2 Windows系统:
当你是第一次开启mysql的慢查询，会在你指定的目录下创建这个记录文件，本文就是mysqlslowquery.log，这个文件的内容大致如下(第一次开启MYSQL慢查询的情况下)
E:\\web\\mysql\\bin\\mysqld, Version: 5.4.3-beta-community-log (MySQL Community Server (GPL)). started with:
TCP Port: 3306, Named Pipe: (null)
Time Id Command Argument
可以通过如下的命令来查看慢查询的记录数：
mysql> show global status like ‘%slow%’;
+———————+——-+
| Variable_name | Value |
+———————+——-+
| Slow_launch_threads | 0 |
| Slow_queries | 0 |
+———————+——-+