MySQL open_tables和opened_tables

Posted 2020-11-01 Leohahah

How MySQL Opens and Closes Tables：https://dev.mysql.com/doc/refman/5.7/en/table-cache.html

其他可供参考的文章有：

关于表限制参数的使用：https://dba.stackexchange.com/questions/5232/mysql-table-cache-and-opened-tables

关于SHOW OPEN TABLES命令的使用：https://www.percona.com/blog/2008/12/14/show-open-tables-what-is-in-your-table-cache/

 

一、本文涉及到的系统参数有3个：

• table_open_cache

Server层参数。

这个参数表示针对所有threads的table cache总和，5.6.7之前默认是400,5.6.8之后是2000。

这是个server层的参数，mysql不支持并行查询，mysql的会话也没有PGA的概念，一个thread引用myisam表时需要在server层上创建一个table对象（索引也需要创建一个但是是共享的，self join会创建2个,分区表每个分区按单表对待），如果同时多个会话引用一个表也会创建多个表对象，虽然会加大内存使用量，但是却极大的减少了内部表锁的争用。

这个值的数目建议设置为max_connections*你的表数目，当然你可能也需要为一些临时表等对象预留，但是这个数目已经足够大啦。

那么mysql什么时候释放这些表对象呢？

1. 当缓冲已满，而连接想要打开一个不在缓冲中的表时。
2. 当缓冲数目已经超过了table_open_cache设置的值，mysql开始使用LRU算法释放表对象。
3. 当你用flush tables;语句时。

• open_files_limit

引擎层参数。

这个参数表示mysqld可用的最大文件描述符数目，如果你遇到“Too many open files”的错误，应当考虑加大它。这个参数的默认值是0表示无限制（大于5.6.7后默认值不再为0，参考官网），但其实他的值是与操作系统相关的，在Unix系统下这个值的数目不能大于ulimit -n。

这个参数应当大于等于table_open_cache。

目前不清楚当设置了innodb_open_files后此参数是指所有存储引擎的句柄数限制，还是非innodb的句柄数限制，需要研究源码才可以理清，这里暂且认为是前者。

• innodb_open_files

引擎层参数。

这个参数只对InnoDB存储引擎有效，它指定了mysql可以同时打开的最大.ibd文件的数目。这个参数即不影响table_open_cache也不受open_files_limit影响，是独立的只对InnoDB有效的。所以在默认为InnoDB存储引擎时可以不考虑open_files_limit只去设innodb_open_files。

 

这3个参数的关系可以总结如下,为保证性能，你应当设置为如下值：

max_connections*你的表数目 = table_open_cache <=open_files_limit< ulimit -n

innodb_open_files<ulimit -n

 

二、本文涉及到的status参数有2个：open_tables和opened_tables

其中open_tables表示当前打开的table总和，即所有connection打开的table总数。

opened_tables表示打开过的表的数量总和，只有show global status才能看到它的值。这是个计数器，Opened_tables/Uptime的值过大说明table_open_cache过小，导致一些table对象（即下文说的table对象）经常会刷出server层，需要的时候再创建，最终导致此计数过大。

 

 

三、相关原理图

参考：http://www.cnblogs.com/xpchild/p/3780625.html的源码解析，以innodb为例。

如下图，有个表叫xpchild(小屁孩666)库中的pp表：

table: 针对每个会话，MySQL会为join查询中涉及的每个表建一个TABLE对象，引用innodb表时会创建innodb层的handler，server层的table对象指向此handler，此handler操作文件系统底层的ibd文件。

table_share: 初次被访问时，MySQL为每一张表建立一个table_share对象，与engine层的dict_table_t中的对应表对应,这些table_share对象共同组成server层的一个table cache。

handler: 在Innodb engine层对应于每个TABLE对象，引擎创建一个或多个handler(windows叫handlers，linux叫file descriptors)，当然不同存储引擎、是否分区都会影响单个table对象对应的handler个数。

dict_table_t: innodb为每一个innodb表load一个数据字典对象，这些对象的集合就是innodb中的data dictionary。

你可以将table对象看做表在server层的映射，将handler看做table对象为操作底层数据文件等磁盘文件而在engine层创建的句柄，也因此MySQL支持各种插入式engine。

flush tables with read lock：close了server层创建的所有的table_share对象（即清除了table cache），并使用一个全局的读锁锁定所有schema下的所有表。

关于flush的各种用法及解释，参考：https://dev.mysql.com/doc/refman/5.7/en/flush.html