mysql 优化扩展

Posted 2020-09-28

 

一、SQL 优化

 

1、分析和定位策略

 

1、通过 show status 了解各种 SQL 的执行频率

 

2、定位执行效率低的 SQL 语句：①通过慢日志定位；②使用 show processlist 命令查看当前在进行的线程

 

3、通过 explain 分析低效 SQL

 

4、通过 show profile 分析 SQL

 

5、通过 trace 分析优化器的选择

 

2、优化

 

1、大批量插入数据，使用如下方式能快速导入大量数据（在 myisam 引擎下速度更为显著）：

 

alter table 表名 disable keys; Loading the data

Alter table 表名 enable keys;

 

 

2、优化 insert 语句：

 

①对同一客户插入很多行，尽量使用多个值表的 insert 语句，能大大缩减客户端与数据库之间的连接。例如 insert into 表名 values(1,2),(1,3),(1,4)····

 

②对不同客户插入很多行，可以使用 insert delayed 语句更高速

 

③将索引文件和数据文件分在不同的磁盘上存放

 

④从一个文本文件装载一个表时，使用 load data infile，速度会比 insert 快 20 倍左右

 

3、优化 order by 语句：

 

①mysql 中的两种排序方式：第一种是有序索引顺序扫描直接返回有序数据；第二种是

 

通过对返回数据进行排序（Filesort 排序）

 

②Filesort 优化：通过两次扫描算法和一次扫描算法

 

4、优化 group by 语句：使用 group by null 可以避免用户排序结果的消耗。

 

 

5、优化嵌套查询：子查询可以一次性完成多个步骤查询，同时可以避免事务或者是表死锁。

 

但是在有些情况下，连接查询可以代替子查询。

6、优化 or 条件：正确使用 or 条件查询，当时在对有独立索引的列查询时 or 操作能够快速

查找到结果；而在对有复合索引的列上做 or 操作时，却不能用到索引

 

 

7、优化分页查询：

 

①思路一：在索引上完成排序分页的操作，最后根据主键关联回原表查询所需要的其他列内容，这种方式让 mysql 扫描尽可能少的页面来提高分页效率

 

②思路二：把 limit 查询转换成某个位置查询。这样把 limit m,n 转换成 limit n 只适合在

 

排序字段不会出现重复值的环境下

 

 

8、使用 SQL 提示：

 

①use index：在查询语句中表名的后面，添加 use index 来提供 mysql 去参考的索引列表，让 mysql 不再去考虑其他索引

 

②ignore index：使用 ignore index 可以让 mysql 忽略一个或者多个索引

 

③force index：强制 mysql 使用一个特定的索引，一定情况下可以避免全秒扫描

 

 

二．索引问题

 

1、索引的存储分类

 

①B-Tree 索引：最常见的索引，大部分引擎都支持

 

②Hash 索引：只有 memory 引擎支持

 

③R-Tree 索引（空间索引）：使用很少，只做了解

 

④Full-text（全文索引）：主要用于全文索引，innodb 从 mysql5.6 开始提供支持

 

 

 

2、Mysql 中使用索引的场景

 

①匹配全值：对索引中所有列都指定具体值，即对索引中的所有列都有等值匹配的条件

 

例：select * from rental where rental_date=’2017-06-27 17:40:59’ and customer_id=343;

 

②匹配值的范围查询：对索引的值能够进行范围查找

 

例：select * from rental where customer_id>=373 and customer_id<400;

 

 

③匹配最左前缀：仅仅使用索引中的最左边列进行查找。

 

例：在 A+B+C 字段上的联合索引能够被 A、A+B、A+B+C 的等值查询利用，但是不能被B、B+C 的等值查询利用到。

 

④仅仅对索引进行查询，档查询的列都在索引的字段中时，查询的效率更高

 

⑤匹配列前缀：仅仅使用索引中的第一列，并且只包含索引第一列的开头一部分进行查

 

找

 

⑥索引匹配部分精确而其他部分进行范围匹配：

 

例：select a_id from rental where rental_date=’2006-02-14’ and customer_id >=300 and customer_id < 400

 

 

⑦如果列名是索引，那么使用 column_name is null 就会使用索引

 

3、存在索引但不能使用索引的场景

 

①以%开头的 Like 查询不能够利用索引

 

②数据类型出现隐式转换的时候也不会使用索引，特别是当列类型是字符串，一定要在 where 条件中把字符串常量值用引号引起来，否则即便是有索引也是无效的

 

 

③复合索引的情况下，假如查询条件不满足最左原则，是不会使用索引的

 

 

④如果 mysql 估计使用索引比全表扫描更慢，则不使用索引

 

 

⑤用 or 分割开的条件，如果 or 前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到

 

 

 

三、优化数据库对象

 

1、优化表的数据类型：表需要使用何种数据类型是需要根据应用来判断的。可以使用函数 procedure analyse()对当前应用的表进行分析，可以根据当前表提出优化建议

 

2、通过拆分提高表的访问效率：

 

①垂直拆分：把主码和一些列放到一个表，然后把主码和另外的列放到另一个表中

②水平拆分：根据一列或多列的值把数据行放到两个独立的表中

 

 3、使用中间表提高统计查询速度：

 

  ①中间表复制源表部分数据，并且与源表相“隔离”，在中间表上做统计查询不会对在 线用户产生负面影响

 

②中间表上可以灵活地添加索引或者增加临时用的新字段，从而达到提高统计查询效率 和辅助统计查询作用

 

 

四、锁问题

 

1、MySQL 的 3 种锁 

 

①表（级）锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突概率最高， 并发度最低（MyISAM，锁住整个表，可同时读，不可写）

 

②行（级）锁：开销大，加锁慢；会出现死锁；锁定粒度小，发生锁冲突概率最低，并 发度也最高（InnoDB，单独的一行记录加锁）

 

③页面锁：开销和加锁时间介于表锁和行锁之间；会出现死锁；锁定粒度介于表锁和行 锁之间，并发度一般

 

 

 

 

2、MyISAM 的表级锁

 

 ①两种模式： 表共享读锁（所有用户可以同时去读同一个加了该表锁的表，但是不能去对其进行 其他操作）

表独占写锁（一个用户在对加了该表锁的表进行写操作的时候，其他用户不能对其 进行操作）。MyISAM 表的读操作与写操作之间，以及写操作之间是串行的，只允许上述其 中一种操作进行

 

②加锁：MyISAM 在执行查询语句（SELECT）前，会自动给涉及的所有表加读锁，在执 行更新操作（UPDATE、DELETE、INSERT 等）前，会自动给涉及的表加写锁，这个过程并不 需要用户干预，都是由 MyISAM 引擎自动完成加锁

 

③MyISAM 锁调度：MyISAM 存储引擎的读锁和写锁是互斥的，读写操作是串行的。当 一个进程请求某个 MyISAM 表的读锁，同时另一个进程也请求同一表的写锁，此时 MySQL 会让写进程先获得锁。不仅如此，即使读请求先到锁等待队列，写请求后到，写锁也会插到 读锁请求之前

 

3、InnoDB 的锁

 

①几种锁模式：

共享锁（S 锁）：允许一个事务去读一行，阻止其他事务获得相同数据集的排他锁

排它锁（X 锁）：允许获得排他锁的事务更新数据，阻止其他事务取得相同数据集 的共享读锁和排他写锁。另外，为了允许行锁和表锁共存，实现多粒度锁机制

意向共享锁（IS 锁）：事务打算给数据行加行共享锁，事务在给一个数据行加共享 锁前必须先取得该表的IS 锁。

意向排它锁（IX 锁）：事务打算给数据行加行排他锁，事务在给一个数据行加排他 锁前必须先取得该表的 IX 锁。

 

②加锁方式：意向锁是 InnoDB 自动加的，不需用户干预。对于 UPDATE、DELETE 和 INSERT 语句，InnoDB 会自动给涉及数据集加排他锁（X)；对于普通 SELECT 语句，InnoDB 不会加任何锁

 

③在不通过索引条件查询的时候，InnoDB 确实使用的是表锁，而不是行锁

 

④由于 MySQL 的行锁是针对索引加的锁，不是针对记录加的锁，所以虽然是访问不同 行的记录，但是如果是使用相同的索引键，是会出现锁冲突 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090

 

⑤当表有多个索引的时候，不同的事务可以使用不同的索引锁定不同的行，另外，不论 是使用主键索引、唯一索引或普通索引，InnoDB 都会使用行锁来对数据加锁。

 

 

4、锁使用总结：

 

①表锁更适合与以查询为主，只有少量按索引条件更新数据的应用，如 Web 应用；

 

②行锁更适合于有大量按索引条件并发更新少量不同数据，同时又有并发查询的应用， 入一些在线事务处理；

 

 

 

五、应用优化

 

1.使用连接池

 

连接池：需要访问数据库的的地方，都已经预先创建好，可以直接获取链接，分配给应用使 用，大大减少了创建新连接所耗费的资源。在访问结束后，链接将重新交还给连接池，以供新访问使用

 

 

2、减少对 mysql 的访问

 

①避免对同一数据做重复检索

 

②使用查询缓存（query cache）

 

③增加 cache 层 PS：第③个和第②个作用差不多，只是 cache 层比 query cache 要更大，层次要深点，cache 层可以看做是 mysql 的二级数据库，query cache 相当于 mysql 内部的缓存

 

 

3、负载均衡：是重用的一种优化方式，采用某种均衡算法，将固定的负载量分布到不同的 服务器上，以此来减轻单台服务器的负载均衡，达到优化的目的。

 

①利用 mysql 复制分流查询操作：一个主服务器承担更多操作，而多台从服务器承担产查询 操作，主从之间通过复制实现数据的同步。多台从服务器一方面用来确保可用性，一方面可 以创建不同的索引以满足不同的查询的需要。

 

②采用分布式数据库架构：分布式的数据库架构适合大数据量、负载高的情况，它具有良好 的扩展性和高可用性。（该情况只支持 innodb 存储引擎）

 

 

 

4、其他优化措施

 

①对于没有删除行操作的 myisam 表，插入操作和查询操作可以并行进行，因为没有删除操 作的表查询期间不会阻塞插入操作

 

②充分利用列有默认值的事实，只有当插入的值不同于默认值时，才明确地插入值。这会减 少 mysql 需要做的语法分析从而提升插入速度

 

③表的字段尽量不使用自增长变量，在高并发的情况下该字段的自增长可能对效率有比较大的影响

 

 

 

概念补充

①更新丢失（Lost Update）：当两个或多个事务选择同一行，然后基于最初选定的值更新该 行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题－－最后的更新覆盖 了由其他事务所做的更新。

 

②脏读（Dirty Reads）：一个事务正在对一条记录做修改，在这个事务完成并提交前，这条 记录的数据就处于不一致状态；这时，另一个事务也来读取同一条记录，如果不加控制，第 二个事务读取了这些“脏”数据，并据此做进一步的处理，就会产生未提交的数据依赖关系。 这种现象被形象地叫做"脏读"。

 

③不可重复读（Non-Repeatable Reads）：一个事务在读取某些数据后的某个时间，再次读 取以前读过的数据，却发现其读出的数据已经发生了改变、或某些记录已经被删除了！这种 现象就叫做“不可重复读”。 北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090

 

④幻读（Phantom Reads）：一个事务按相同的查询条件重新读取以前检索过的数据，却发 现其他事务插入了满足其查询条件的新数据，这种现象就称为“幻读”。

 

⑤死锁（Deadlock）：是指两个或两个以上的进程在执行过程中，因争夺资源而造成的一种 互相等待的现象，这些永远在互相等待的进程称为死锁进程。表级锁不会产生死锁，所以解 决死锁主要还是真对于最常用的 InnoDB。 PS：在读取数据前，对其加锁，阻止其他事务对数据进行修改可避免脏读、不可重复读、幻读

 

⑥悲观锁（Pessimistic Lock）：悲观锁的特点是先获取锁，再进行业务操作，即“悲观”的 认为获取锁是非常有可能失败的，因此要先确保获取锁成功再进行业务操作

 

⑦乐观锁（Optimistic Lock）：乐观锁的特点先进行业务操作，不到万不得已不去拿锁。即 “乐观”的认为拿锁多半是会成功的，因此在进行完业务操作需要实际更新数据的最后一步 再去拿一下锁就好

 

⑧热备份：热备份是在数据库运行的情况下，备份数据库的方法。即热备份是系统处于正常 运转状态下的备份

 

⑨冷备份：冷备份发生在数据库已经正常关闭的情况下，当正常关闭时会提供一个完整的数 据库。冷备份时将关键性文件拷贝到另外的位置的一种说法。冷备份是最快和最安全的方法。