记一次mysql磁盘io高的问题排查
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了记一次mysql磁盘io高的问题排查相关的知识，希望对你有一定的参考价值。
参考技术A 现象是，系统里的java连接mysql超时了，于是去mysql的机器，查看/var/log/messages日志，查对应的时间点的情况
发现mysql被阻塞了blocked for more than 120 seconds，mysql的io非常之高，用top查看系统的负载也到达了50的样子
用mpstat查看cpu情况
好明显，都在等io
用iostat查看io情况，%util的值，一直在80%，99%之间变化
以为磁盘有问题，用dd测下速看看
从上面的结果看，也还好，没问题
以为可能磁盘有坏道，用下面命令也扫了一遍，没问题
结果也没有坏的块，这个过程，很耗时。
用show processlist命令查看mysql正在忙着什么，一看，也没什么任务在执行的
想看看mysql，研究写哪个文件时，最耗时的
从上面结果来看，xxl_job是最耗时的。知道点眉目了，因为公司的定时任务是用的xxljob，定时任务里，有每几秒执行的任务，我猜它的日志记录一定很大，于是查看一下
我的天，这个表的记录有千万！！！这些记录，没做定时任务来清理，由于都是一些没用的记录，所以这个表的数据我全清了
清了之后，再用iostat查看
%util一下子就降下来了，用iotop查看mysql进程的io也下降了
cpu的iowait也下降了
定义一个事件，让mysql定时清理30天前的日志记录
记录一下，希望对有需要的朋友也起一点提示
以上是关于记一次mysql磁盘io高的问题排查的主要内容，如果未能解决你的问题，请参考以下文章