mysql缓存机制怎么查看有没有启动

Posted 2023-04-14

我们都知道 mysql 的 Table Cache 是表定义的缓存，江湖上流传着各种对这个参数的调优方法。
table cache 的作用，就是节约读取表结构文件的开销。对于table cache 是否命中，其实table cache 是针对于线程的，每个线程有自己的缓存，只缓存本线程的表结构定义。不过我们发现，strace 中没有关于表结构文件的 open 操作（只有 stat 操作，定位表结构文件是否存在），也就是说 table cache 不命中，不一定需要读取表结构文件。这种感觉好像是：在不命中 table cache 时，命中了另外一个表结构缓存。
运维建议：
我们读一下 MySQL 的文档，关于 table_open_cache 的建议值公式：建议值 = 最大并发数 * join 语句涉及的表的最大个数。
通过实验我们容易理解：table_cache 是针对于线程的，所以需要最大并发数个缓存。另外，一个语句 join 涉及的表，需要同时在缓存中存在。所以最小的缓存大小，等于语句 join 涉及的表的最大个数。将这两个数相乘，就得到了 MySQL 的建议值公式。 参考技术A MySQL缓存机制简单的说就是缓存sql文本及查询结果，如果运行相同的sql，服务器直接从缓存中取到结果，而不需要再去解析和执行sql。如果表更改 了，那么使用这个表的所有缓冲查询将不再有效，查询缓存值的相关条目被清空。更改指的是表中任何数据或是结构的改变，包括INSERT、UPDATE、 DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE等，也包括那些映射到改变了的表的使用MERGE表的查询。显然，这对于频繁更新的表，查询缓存是不适合的，而对于一些不常改变数据且有 大量相同sql查询的表，查询缓存会节约很大的性能。
命中条件
缓存存在一个hash表中,通过查询SQL,查询数据库,客户端协议等作为key.在判断是否命中前,MySQL不会解析SQL,而是直接使用SQL去查询缓存,SQL任何字符上的不同,如空格,注释,都会导致缓存不命中.
如果查询中有不确定数据,例如CURRENT_DATE()和NOW()函数,那么查询完毕后则不会被缓存.所以,包含不确定数据的查询是肯定不会找到可用缓存的

工作流程
1. 服务器接收SQL,以SQL和一些其他条件为key查找缓存表(额外性能消耗)
2. 如果找到了缓存,则直接返回缓存(性能提升)
3. 如果没有找到缓存,则执行SQL查询,包括原来的SQL解析,优化等.
4. 执行完SQL查询结果以后,将SQL查询结果存入缓存表(额外性能消耗)

缓存失效
当某个表正在写入数据,则这个表的缓存(命中检查,缓存写入等)将会处于失效状态.在Innodb中,如果某个事务修改了表,则这个表的缓存在事务提交前都会处于失效状态,在这个事务提交前,这个表的相关查询都无法被缓存.

缓存的内存管理
缓存会在内存中开辟一块内存(query_cache_size)来维护缓存数据,其中有大概40K的空间是用来维护缓存的元数据的,例如空间内存,数据表和查询结果的映射,SQL和查询结果的映射等.
MySQL将这个大内存块分为小的内存块(query_cache_min_res_unit),每个小块中存储自身的类型,大小和查询结果数据,还有指向前后内存块的指针.
MySQL需要设置单个小存储块的大小,在SQL查询开始(还未得到结果)时就去申请一块空间,所以即使你的缓存数据没有达到这个大小,也需要用这个大小的数据块去存(这点跟Linux文件系统的Block一样).如果结果超出这个内存块的大小,则需要再去申请一个内存块.当查询完成发现申请的内存块有富余,则会将富余的空间释放掉,这就会造成内存碎片问题,见下图

此处查询1和查询2之间的空白部分就是内存碎片,这部分空闲内存是有查询1查询完以后释放的,假设这个空间大小小于MySQL设定的内存块大小,则无法再被使用,造成碎片问题
在查询开始时申请分配内存Block需要锁住整个空闲内存区,所以分配内存块是非常消耗资源的.注意这里所说的分配内存是在MySQL初始化时就开辟的那块内存上分配的.

缓存的使用时机
衡量打开缓存是否对系统有性能提升是一个很难的话题
1. 通过缓存命中率判断, 缓存命中率 = 缓存命中次数 (Qcache_hits) / 查询次数 (Com_select)
2. 通过缓存写入率, 写入率 = 缓存写入次数 (Qcache_inserts) / 查询次数 (Qcache_inserts)
3. 通过 命中-写入率 判断, 比率 = 命中次数 (Qcache_hits) / 写入次数 (Qcache_inserts), 高性能MySQL中称之为比较能反映性能提升的指数,一般来说达到3:1则算是查询缓存有效,而最好能够达到10:1

缓存配置参数
1. query_cache_type: 是否打开缓存
可选项
1) OFF: 关闭
2) ON: 总是打开
3) DEMAND: 只有明确写了SQL_CACHE的查询才会吸入缓存

2. query_cache_size: 缓存使用的总内存空间大小,单位是字节,这个值必须是1024的整数倍,否则MySQL实际分配可能跟这个数值不同(感觉这个应该跟文件系统的blcok大小有关)

3. query_cache_min_res_unit: 分配内存块时的最小单位大小

4. query_cache_limit: MySQL能够缓存的最大结果,如果超出,则增加 Qcache_not_cached的值,并删除查询结果

5. query_cache_wlock_invalidate: 如果某个数据表被锁住,是否仍然从缓存中返回数据,默认是OFF,表示仍然可以返回

GLOBAL STAUS 中 关于 缓存的参数解释:
Qcache_free_blocks: 缓存池中空闲块的个数
Qcache_free_memory: 缓存中空闲内存量
Qcache_hits: 缓存命中次数
Qcache_inserts: 缓存写入次数
Qcache_lowmen_prunes: 因内存不足删除缓存次数
Qcache_not_cached: 查询未被缓存次数,例如查询结果超出缓存块大小,查询中包含可变函数等
Qcache_queries_in_cache: 当前缓存中缓存的SQL数量
Qcache_total_blocks: 缓存总block数

减少碎片策略
1. 选择合适的block大小
2. 使用 FLUSH QUERY CACHE 命令整理碎片.这个命令在整理缓存期间,会导致其他连接无法使用查询缓存
PS: 清空缓存的命令式 RESET QUERY CACHE本回答被提问者和网友采纳 参考技术B

如果你问的是Query Cache。

可以查看MySQL的运行时变量query_cache_type，这个变量的值为ON则表示已经开启MySQL Query Cache。

MySQL > show variables like '%query_cache%';

+------------------------------+----------+

| Variable_name                | Value    |

+------------------------------+----------+

| have_query_cache             | YES      |

| query_cache_limit            | 1048576  |

| query_cache_min_res_unit     | 4096     |

| query_cache_size             | 16777216 |

| query_cache_strip_comments   | OFF      |

| query_cache_type             | ON       |

| query_cache_wlock_invalidate | OFF      |

+------------------------------+----------+

7 rows in set

Time: 0.010s

关于Query Cache的效果及更多其他问题，可参考： MySQL Query Cache FAQ

MySQL缓存机制

目录

• 1. MySQL缓存简介
  • 1. MySQL缓存机制说明
  • 2. MySQL缓存失效
  • 3. 使用场景
• 2. 命中条件
• 3. 工作流程
• 4. 缓存失败
• 5. 缓存的内存管理
• 6. 缓存的使用时机
  • 1. 通过缓存命中率判断
  • 2. 通过缓存写入率判断
  • 3. 通过命中-写入率判断
• 7. 缓存参数配置
  • 1. 查看缓存相关配置
  • 2. query_cache_type
  • 3. query_cache_size
  • 4. query_cache_min_res_unit
  • 5. query_cache_limit
  • 6. query_cache_wlock_invalidate
  • 7. GLOBAL STATUS 中关于缓存的参数解释
• 8. 减少缓存碎片策略
• 9. InnoDB查询缓存
• 10. 参考

1. MySQL缓存简介

1. MySQL缓存机制说明

MySQL缓存机制即缓存sql 文本及缓存结果，用KV形式保存再服务器内存中，如果运行相同的sql，服务器直接从缓存中去获取结果，不需要再去解析、优化、执行sql

2. MySQL缓存失效

• 在表的结构或数据发生改变时，查询缓存中的数据不再有效，查询缓存值的相关条目将被清空
• INSERT、UPDATE、 DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE会导致缓存数据失效

3. 使用场景

• 对于频繁更新的表，查询缓存不合适
• 对于一些不变的数据且有大量相同sql查询的表，查询缓存可以大大提高查询的性能

2. 命中条件

• 缓存的数据结构是hash表
• 以SQL、数据库名和客户端协议等作为KEY
• 在判断命中前，MySQL不会解析SQL，而是使用SQL去查询缓存，SQL上的任何字符的不同，如空格、注释等都会导致缓存不命中
• 如果查询有不确定的数据，如like now()、current_date()，那么查询完成后结果者不会被缓存

3. 工作流程

1. 服务器接收SQL，以SQL和一些其他条件为key查找缓存表
2. 如果缓存命中，则直接返回缓存
3. 如果缓存没有命中，则执行SQL查询，包括SQL解析、优化等。
4. 执行完SQL查询结果以后，将SQL查询结果写入缓存表

4. 缓存失败

• 当某个表正在写入数据，则这个表的缓存将会处于失效状态
• 在InnoDB中，如果某个事务修改了表，则这个表的缓存在事务提交前都会处于失效状态，即在事务提交前，这个表的相关查询都无法被缓存

5. 缓存的内存管理

• MySQL缓存机制会在内存中开辟一块内存（query_cache_size）区来维护缓存数据，其中大概有40K的空间是用来维护缓存数据的元数据的，例如空间内存、数据表和查询结果的映射，SQL和查询结果的映射。
• MySQL缓存机制将大内存块分为小内存块（query_cache_min_res_unit)，每个小块中存储自身的类型、大小和查询结果数据，还有前后内存块的指针。
• MySQL缓存机制会在SQL查询开始（还未得到结果）时就去申请一块内存空间，所以即使缓存数据没有达到这个大小也需要占用申请的内存块空间（like linux filesystem’s block)。如果超出申请内存块的大小，则需要再申请一个内存块。当查询完成发现申请的内存有富余，则会将富余的内存空间释放掉，因而可能会造成内存碎片。

6. 缓存的使用时机

1. 通过缓存命中率判断

缓存命中率 = 缓存命中次数 (Qcache_hits) / 查询次数 (Com_select)

2. 通过缓存写入率判断

写入率 = 缓存写入次数 (Qcache_inserts) / 查询次数 (Qcache_inserts)

3. 通过命中-写入率判断

比率 = 命中次数 (Qcache_hits) / 写入次数 (Qcache_inserts),

高性能MySQL中称之为比较能反映性能提升的指数，一般来说达到3:1则算是查询缓存有效，而最好能够达到10:1

7. 缓存参数配置

1. 查看缓存相关配置

SHOW VARIABLES LIKE ‘%query_cache%‘;

2. query_cache_type

• 是否打开缓存，可选参数有：
  • OFF（0）：关闭 ，不使用查询缓存
  • ON（1）：总是打开 ，始终使用查询缓存
  • DEMAND（2）：按需使用查询缓存，只有明确写了SQL_CACHE的查询才会写入缓存

• 如果query_cache_type为1而又不想利用查询缓存中的数据，可以用下面的SQL：
  • SELECT SQL_NO_CACHE * FROM my_table WHERE condition;
• 如果值为2，要使用缓存的话，需要使用SQL_CACHE开关参数：
  • SELECT SQL_CACHE * FROM my_table WHERE condition;

3. query_cache_size

• 缓存使用的总内存空间大小，单位是字节，这个值必须是1024的整数倍；否则MySQL实际分配可能跟这个数值不同(感觉这个应该跟文件系统的blcok大小有关)
• 默认情况下query_cache_size为0，表示为查询缓存预留的内存为0，则无法使用查询缓存
• 设置query_cache_size的值
  • SET GLOBAL query_cache_size = 134217728; -- 注意值如果设得太小不会生效

4. query_cache_min_res_unit

分配内存块时的最小单位大小

5. query_cache_limit

MySQL能够缓存的最大结果，如果超出，则增加 Qcache_not_cached的值，并删除查询结果

6. query_cache_wlock_invalidate

如果某个数据表被锁住，是否仍然从缓存中返回数据，默认是OFF，表示仍然可以返回

7. GLOBAL STATUS 中关于缓存的参数解释

1. Qcache_free_blocks：缓存池中空闲块的个数
2. Qcache_free_memory：缓存中空闲内存量
3. Qcache_hits：缓存命中次数
4. Qcache_inserts：缓存写入次数
5. Qcache_lowmen_prunes：因内存不足删除缓存次数
6. Qcache_not_cached：查询未被缓存次数,例如查询结果超出缓存块大小,查询中包含可变函数等
7. Qcache_queries_in_cache：当前缓存中缓存的SQL数量
8. Qcache_total_blocks：缓存总block数

8. 减少缓存碎片策略

1. 选择合适的block大小
2. 使用 FLUSH QUERY CACHE 命令整理碎片，这个命令在整理缓存期间，会导致其他连接无法使用查询缓存

清空缓存的命令

RESET QUERY CACHE; // 从查询缓存中移出所有查询。
FLUSH TABLES; //关闭所有打开的表，同时该操作将会清空查询缓存中的内容。

9. InnoDB查询缓存

1. InnoDB存储引擎会对每个表设置一个事务计数器，里面存储当前最大的事务ID
2. 当一个事务提交时，InnoDB会使用MVCC中系统最大的事务ID更新当前表的计数器
3. 只有比这个最大ID大的事务能使用查询缓存，其他比这个ID小的事务则不能使用查询缓存
4. 在InnoDB中，所有加锁操作的事务都不使用任何查询缓存
5. 查询必须是完全相同的(逐字节相同)才能够被认为是相同的。
6. 查询字符串由于其它原因使用不同的数据库、不同的协议版本或者不同的默认字符集都会被认为是不同的查询而分别进行缓存。

10. 参考

• mysql 缓存机制
• MySQL查询缓存总结