MySQL优化基础

Posted 2021-01-13 蚂蚁力量

　　首先简单一幅图描述一下mysql的各组件之间如何协同工作的架构图：

　　第一层：客户端层，并非MySQL所独有，诸如：连接处理、授权认证、安全等功能均在这一层处理。

　　第二层：MySQL大多数核心服务均在中间这一层，包括查询解析、分析、优化、缓存、内置函数(比如：时间、数学、加密等函数)。所有的跨存储引擎的功能也在这一层实现：存储过程、触发器、视图等。

 　　第三层：最下层为存储引擎，其负责MySQL中的数据存储和提取。和Linux下的文件系统类似，每种存储引擎都有其优势和劣势。中间的服务层通过API与存储引擎通信，这些API接口屏蔽了不同存储引擎间的差异。

优化内容：

　　在数据库优化上有两个主要方面：即安全（数据可持续性）与性能（数据的高性能访问）。

　　优化方向：

　　　　①存储、主机、操作系统方面：主机架构稳定性、I/O规划及配置、Swap交换分区、OS内核参数和网络问题

　　　　②应用程序方面：应用程序稳定性、SQL语句性能、串行访问资源

　　　　③数据优化：内存、数据库结构（物理&逻辑）、实例配置

 　　优化维度：硬件、系统配置、数据库表结构、SQL及索引：

  

可选优化工具：

　　

　　

数据库层面调优：

　　一般的应急调优思路：针对突然的业务办理卡顿，无法进行正常的业务处理！需要立马解决的场景！

　　①show processlist

　　②explain select id ,name from stu where name=\'clsn\'; # ALL id name age sex

　　　　select id,name from stu where id=2-1 函数 结果集>30;

　　　　show index from table;

　　③通过执行计划判断，索引问题（有没有、合不合理）或者语句本身问题

　　④show status like \'%lock%\'; # 查询锁状态

　　　　kill SESSION_ID; # 杀掉有问题的session

　　常规调优思路：针对业务周期性的卡顿，例如在每天10-11点业务特别慢，但是还能够使用，过了这段时间就好了。

　　①查看slowlog，分析slowlog，分析出查询慢的语句。

　　②按照一定优先级，进行一个一个的排查所有慢语句。

　　③分析top sql，进行explain调试，查看语句执行时间。

　　④调整索引或语句本身。

系统层面调优：

　　①cpu方面：vmstat、sar top、htop、nmon、mpstat

　　②内存：free 、ps -aux 

　　③IO设备（磁盘、网络）：iostat 、 ss 、 netstat 、 iptraf、iftop、lsof

　　④vmstat 命令说明：

　　　　Procs：r显示有多少进程正在等待CPU时间。b显示处于不可中断的休眠的进程数量。在等待I/O

　　　　Memory：swpd显示被交换到磁盘的数据块的数量。未被使用的数据块，用户缓冲数据块，用于操作系统的数据块的数量

　　　　Swap：操作系统每秒从磁盘上交换到内存和从内存交换到磁盘的数据块的数量。s1和s0最好是0

　　　　Io：每秒从设备中读入b1的写入到设备b0的数据块的数量。反映了磁盘I/O

　　　　System：显示了每秒发生中断的数量(in)和上下文交换(cs)的数量

　　　　Cpu：显示用于运行用户代码，系统代码，空闲，等待I/O的CPU时间

　　⑤iostat命令说明：实例命令： iostat -dk 1 5

　　　　iostat -d -k -x 5 （查看设备使用率（%util）和响应时间（await））　　

　　　　tps：该设备每秒的传输次数。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。

　　　　iops ：硬件出厂的时候，厂家定义的一个每秒最大的IO次数,"一次传输"请求的大小是未知的。

　　　　kB_read/s：每秒从设备（drive expressed）读取的数据量；

　　　　KB_wrtn/s：每秒向设备（drive expressed）写入的数据量；

　　　　kB_read：读取的总数据量；

　　　　kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。

　　⑥系统层面问题排除参考：

　　　　问题一：cpu负载高，IO负载低：

• • 内存不够
  • 磁盘性能差
  • SQL问题 ------>去数据库层，进一步排查sql问题
  • IO出问题了（磁盘到临界了、raid设计不好、raid降级、锁、在单位时间内tps过高）
  • tps过高: 大量的小数据IO、大量的全表扫描

　　　　问题二：IO负载高，cpu负载低

• • 大量小的IO 写操作：

  • autocommit ，产生大量小IO

  • IO/PS,磁盘的一个定值，硬件出厂的时候，厂家定义的一个每秒最大的IO次数。

  • 大量大的IO 写操作

  • SQL问题问题三：IO和cpu负载都很高

　　　　问题三：IO和cpu负载都很高：硬件不够了或sql存在问题

 

 

具体优化参考：

硬件优化：

　　1、主机方面：

• 根据数据库类型，主机CPU选择、内存容量选择、磁盘选择

• 平衡内存和磁盘资源

• 随机的I/O和顺序的I/O

• 主机 RAID卡的BBU(Battery Backup Unit)关闭

　　2、cpu的选择：

• cpu的两个关键因素：核数、主频

• 根据不同的业务类型进行选择：

• cpu密集型：计算比较多，OLTP 主频很高的cpu、核数还要多

• IO密集型：查询比较，OLAP 核数要多，主频不一定高的

　　3、内存选择：

• OLAP类型数据库，需要更多内存，和数据获取量级有关。

• OLTP类型数据一般内存是cpu核心数量的2倍到4倍，没有最佳实践。

　　4、存储方面：

• 根据存储数据种类的不同，选择不同的存储设备

• 配置合理的RAID级别(raid5、raid10、热备盘)

 

• 对与操作系统来讲，不需要太特殊的选择，最好做好冗余（raid1）（ssd、sas 、sata）

 

　　5、raid卡：主机raid卡选择：

• 实现操作系统磁盘的冗余（raid1）

• 平衡内存和磁盘资源

• 随机的I/O和顺序的I/O

• 主机 RAID卡的BBU(Battery Backup Unit)要关闭。

　　6、网络方面：使用流量支持更高的网络设备（交换机、路由器、网线、网卡、HBA卡）

系统参数调整：

　　Linux系统内核参数优化：

　　

　用户限制参数（mysql可以不设置以下配置）：

　　

数据库优化：

　　SQL优化方向：执行计划、索引、SQL改写 

 　　架构优化方向：高可用架构、高性能架构、分库分表

　　①实例整体（高级优化，扩展）

　　

　　②连接层（基础优化）：设置合理的连接客户和连接方式

 　　

　　③SQL层（基础优化）

• query_cache_size： 查询缓存

• OLAP类型数据库,需要重点加大此内存缓存.

• 但是一般不会超过GB.

• 对于经常被修改的数据，缓存会立马失效。

• 我们可以实用内存数据库（redis、memecache），替代他的功能。

　　④存储引擎层（innodb基础优化参数）