MySQL SYS CPU高的案例分析

Posted lonelyxmas

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MySQL SYS CPU高的案例分析相关的知识,希望对你有一定的参考价值。

原文:MySQL SYS CPU高的案例分析(一)

【现象】

最近关注mysql CPU告警的问题时,发现有一种场景,有一些服务器最近都较频繁的出现CPU告警,其中的现象是 SYS CPU占比较高。

下面的截图来源于“MySQL CPU报警”采集的文件

 技术分享图片

 

【问题分析】

可以分析出这服务器CPU升高的原因是由于表的高并发写入引起。优化方案通常是通知开发停止写入或降低写入频率。

究竟是什么原因导致高并发写入时CPU sys的占比这么高。

从采集的【Perf Stat】指标看到CPU有大量消耗是集中kernel的spin_lock上,推测sys的消耗占比是由spin lock引起的

技术分享图片

同时从这个系统调用中也可以比较清晰的看出一个INSERT语句的执行过程(只是执行路径上的部分关键函数),简单整理如下:

 技术分享图片

insert当获取不到rw-lock时,保持spin lock,进入短暂等待。高并发的大量访问出现资源竞争,大量线程出现spin lock及context switch,导致CPU飙升。

为了防止自旋锁循环过快,耗费CPU,MySQL中引入了innodb_spin_wait_delay参数,具体可参考下面的官方手册

https://dev.mysql.com/doc/refman/5.6/en/innodb-performance-spin_lock_polling.html

技术分享图片

 

【问题重现】

在测试环境中,启用1000个并发线程模拟高并发写入的场景

 

1、innodb_spin_wait_delay和innodb_sync_spin_loops保持默认值不变

 

CPU idle在18%左右,sys占比40%多,TPS在1.5W左右

 技术分享图片

技术分享图片

 

2、将变量适当增大SET GLOBAL innodb_spin_wait_delay=18;

(注意:18是在Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz 40核的CPU经过多次测试得出的相对合理的值,建议该值大小不要超过24)

可以观察到CPU idle在15%左右,sys占比降到20%多,TPS增加到1.75W左右,MySQL的插入性能约提升了16.7%

 技术分享图片

技术分享图片

 

【结论】

对于MySQL高并发写入的场景,我们可以通过微调innodb_spin_wait_delay参数,减少kernel的spin_lock消耗,降低CPU的sys占比,从而提升MySQL的TPS处理能力。


 技术分享图片


以上是关于MySQL SYS CPU高的案例分析的主要内容,如果未能解决你的问题,请参考以下文章

测试通过SYS用户,对SCOTT用户的会话进行跟踪,并分析此会话中性能消耗较高的SQL,分析并给出优化建议。

Java代码分析和CPU高的方法分析

分析定位占用CPU资源高的JVM线程

mysql如何查询SQL中哪些语句执行最占用CPU?

高规格虚机 sys cpu高现场分析工具箱

cpu 或 内存 偏高的分析套路