论mysql.5.7.13架构组成之存储引擎

Posted 2020-08-28

MySQL Server 系统架构

防伪码：默而识之，学而不厌，诲人不倦，何有于我哉！

作者：何小帅

博客URL:http://hexiaoshuai.blog.51cto.com

 

在前一节中我们学习了mysql的物理文件组成，接下来我们来学习mysql的逻辑模块组成。

逻辑模块组成:

MySQL 逻辑结构可以看成是二层架构，第一层我们通常叫做 SQL Layer，在 MySQL 数据库系

统处理底层数据之前的所有工作都是在这一层完成的，包括权限判断，sql解析，执行计划

优化，query cache 的处理等等；第二层就是存储引擎层，我们通常叫做StorageEngine Layer，

也就是底层数据存取操作实现部分，由多种存储引擎共同组成。所以，可以用如下一张最简

单的架构示意图来表示 MySQL 的基本架构，如图所示：

从上图看起来 MySQL 逻辑架构非常的简单，但实际上每一层中都含有各自的很多小模块，

尤其是第一层 SQL Layer，结构相当复杂的。

接下来我们来学习mysql存储引擎。

一、mysql存储引擎介绍：

MySQL在5.1 （不包括）之前的版本中，存储引擎是需要在MySQL 安装的时候就必须和MySQL

一起被编译并同时被安装的。

但是从 MySQL5.1 开始，MySQL AB 对其结构体系做了较大的改造，并引入了一个新的概念：

插件式存储引擎体系结构。MySQL AB 在架构改造的时候，让存储引擎层和sqllayer各自更

为独立，耦合更小，甚至可以做到在线加载新的存储引擎，也就是完全可以将一个新的存储

引擎加载到一个正在运行的 MySQL 中，而不影响 MySQL 的正常运行。插件式存储引擎的

架构，为存储引擎的加载和移出更为灵活方便，也使自行开发存储引擎更为方便简单。

MySQL 的插件式存储引擎主要包括MyISAM，Innodb，NDB Cluster，Maria，Falcon，Memory，

Archive 等，其中最著名而且使用最为广泛的MyISAM和Innodb两种存储引擎。MyISAM是

MySQL 最早的 ISAM 存储引擎的升级版本，也是MySQL 默认的存储引擎。而Innodb实际

上并不是MySQ公司的，而是第三方软件公司Innobase（在 2005 年被 Oracle 公司所收购）

所开发，其最大的特点是提供了事务控制等特性，所以使用者也非常广泛。

其他的一些存储引擎相对来说使用场景要稍微少一些，都是应用于某些特定的场景，如 NDB

Cluster 虽然也支持事务，但是主要是用于分布式高可用集群环境。Maria 是 MySQL 最新开

发的对MyISAM的升级版存储引擎，Falcon 是 MySQL 公司自行研发的为了替代当前的

Innodb存储引擎的一款带有事务等高级特性的数据库存储引擎。Memory 存储引擎所有数

据和索引均存储于内存中，仅保存.frm文件在硬盘，所以主要是用于一些临时表，或者对性

能要求极高，但是允许在 Crash 的时候丢失数据的特定场景下，会消耗内存较大。Archive 是

一个数据经过高比例压缩存放的存储引擎，仅支持 insert，select，不支持 update 和 delete，

主要用于存放过期而且很少访问的历史信息，不支持索引。

MyISAM存储引擎简介：

1、mysql5.1 之前默认存储引擎。

2、MyISAM存储引擎的表在数据库中，每一个表都被存放为三个以表名命名的物理文件。

首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件，另外还有.MYD

和.MYI 文件，分别存放了表的数据（.MYD）和索引数据（.MYI）。每个表都有且仅有这样三

个文件做为MyISAM存储类型的表的存储，也就是说不管这个表有多少个索引，都是存放在

同一个.MYI 文件中。

3、MyISAM支持以下三种类型的索引：

B-Tree 索引

B-Tree 索引，就是所有的索引节点都按照balance tree 的数据结构来存储，所有的索引数据

节点都在叶节点。

R-Tree 索引

R-Tree 索引的存储方式和 b-tree 索引有一些区别，主要设计用于为存储空间和多维数据的

字段做索引，所以目前的 MySQL 版本来说，也仅支持 geometry 类型的字段作索引。

Full-text 索引

Full-text 索引就是全文索引，他的存储结构也是b-tree。主要是为了解决在我们需要用like 查

询的低效问题。

MyISAM上面三种索引类型中，最经常使用的就是B-Tree 索引了，偶尔会使用到Fulltext，

但是 R-Tree 索引一般系统中都是很少用到的。另外MyISAM的 B-Tree 索引有一个较大的限

制，那就是参与一个索引的所有字段的长度之和不能超过 1000 字节。

3、不支持事务

4、只有表锁

5、如下情况会造成表损坏：

Mysqld正在写入该表时，被 kill 掉

主机宕机（Crash）

磁盘硬件故障

MyISAM存储引擎的 bug

6、虽然每一个MyISAM的表都是存放在一个相同后缀名的.MYD 文件中，但是每个文件的

存放格式实际上可能并不是完全一样的，因为MyISAM的数据存放格式是分为静态（FIXED）

固定长度、动态（DYNAMIC）可变长度以及压缩（COMPRESSED）这三种格式。当然三种格

式中是否压缩是完全可以任由自己选择的，可以在创建表的时候通过 ROW_FORMAT 来指定{COMPRESSED | DEFAULT}，也可以通过myisampack工具来进行压缩，默认是不压缩的。而

在非压缩的情况下，是静态还是动态，就和我们表中个字段的定义相关了。只要表中有可变

长度类型的字段存在，那么该表就肯定是 DYNAMIC 格式的，如果没有任何可变长度的字段，

则为 FIXED 格式，当然，你也可以通过 alter table 命令，强行将一个带有 VARCHAR 类型字

段的 DYNAMIC 的表转换为 FIXED，但是所带来的结果是原 VARCHAR 字段类型会被自动转换

成 CHAR 类型。相反如果将 FIXED 转换为 DYNAMIC，也会将 CHAR 类型字段转换为 VARCHAR

类型，

知识点扩展：如何根据表的记录数量估算占用的磁盘空间

首先先算一个表中一行有多少个字节。

然后根据数据库中的表每天增加多少行记录，就能够算出每天要增加多少硬盘空间，这样就

可根据数据量估算规划多大的空间。

例如在数据库 test 中创建一张 tb1 表

                            

执行mysql>desc test1.tb1 查看 tb1 的表结构

10 个字节+20 个字节+2 个字节+20 字节+8 字节+8 字节+100 个字节=168 字节

Tb1 表的一个行有 168 个字节

如果每天增加 10000 条记录，大约需要 10000x168/1024/1024=1.6MB

这样就可以根据每天增加的记录数，合理规划好磁盘空间了

MyISAM存储引擎的某个表文件出错之后，仅影响到该表，而不会影响到其他表，更不会影

响到其他的数据库。如果我们的数据库正在运行过程中发现某个MyISAM表出现问题了，则

可以在线通过 check table 命令来尝试校验他，并可以通过 repair table 命令来尝试修复。在

数据库关闭状态下，我们也可以通过myisamchk工具来对数据库中某个（或某些）表进行检

测或者修复。不过强烈建议不到万不得已不要轻易对表进行修复操作，修复之前尽量做好可能的备份工作，以免带来不必要的后果。

Innodb存储引擎简介：

Innodb之所以能如此受宠，主要是在于其功能方面的较多特点：

1、支持事务

Innodb在功能方面最重要的一点就是对事务的支持，这无疑是让Innodb成为 MySQL 最为流

行的存储引擎之一的一个非常重要原因。

2、锁定机制的改进

Innodb改变了MyISAM的锁机制，实现了行锁。

3、实现外键

Innodb实现了外键引用这一数据库的重要特性。

4、Innodb存储引擎也和MyISAM不太一样，虽然也有.frm文件来存放表结构定义相关的元

数据，但是表数据和索引数据是存放在一起的。至于是每个表单独存放还是所有表存放在一

起，完全由用户来决定。

Innodb的物理结构分为两大部分：

1、数据文件（表数据和索引数据）

存放数据表中的数据和所有的索引数据，包括主键和其他普通索引。在Innodb中，存在了

表空间（tablespace）这样一个概念，但是他和 Oracle 的表空间又有较大的不同。首先，Innodb

的表空间分为两种形式。一种是共享表空间，也就是所有表和索引数据被存放在同一个表空

间（一个或多个数据文件）中，通过innodb_data_file_path来指定，增加数据文件需要停机

重启。另外一种是独享表空间，也就是每个表的数据和索引被存放在一个单独的.ibd文件中。

虽然我们可以自行设定使用共享表空间还是独享表空间来存放我们的表，但是共享表空间都

是必须存在的，因为Innodb的 undo 信息和其他一些元数据信息都是存放在共享表空间里

面的。共享表空间的数据文件是可以设置为固定大小和可自动扩展大小两种形式的。

当我们的文件表空间快要用完的时候，我们必须要为其增加数据文件，当然，只有共享表空

间有此操作。共享表空间增加数据文件的操作比较简单，只需要在innodb_data_file_path参

数后面按照标准格式设置好文件路径和相关属性即可，不过这里有一点需要注意的，就是

Innodb在创建新数据文件的时候是不会创建目录的，如果指定目录不存在，则会报错并无

法启动。

2、日志文件

Innodb的日志文件和 Oracle 的 redo 日志比较类似，同样可以设置多个日志组（最少 2

个），同样采用轮循策略来顺序的写入。

由于Innodb是事务的存储引擎，所以系统 Crash（宕机）对他来说并不能造成非常严重的损

失，由于有 redo 日志（即事物日志）的存在，有 checkpoint 机制的保护，Innodb完全可以

通过 redo 日志将数据库 Crash 时刻已经完成但还没有来得及将数据写入磁盘的事务恢复，

也能够将所有部分完成并已经写入磁盘的未完成事务回滚并将数据还原。

Innodb不仅在功能特性方面和MyISAM存储引擎有较大区别，在配置上面也是单独处理的。

在 MySQL 启动参数文件（/etc/my.cnf）设置中，Innodb的所有参数基本上都带有前缀

“innodb_”，不论是innodb数据和日志相关，还是其他一些性能，事务等等相关的参数都

是一样。和所有Innodb相关的系统变量一样，所有的Innodb相关的系统状态值也同样全部

以“Innodb_”前缀。

MyISAM和InnoDB的区别

1、MyISAM不支持事务，而InnoDB支持。InnoDB的 AUTOCOMMIT 默认是打开的，即每条SQL语句会默认被封装成一个事务，自动提交，这样会影响速度，所以最好是把多条 SQL

语句显示放在 begin 和 commit 之间，组成一个事务去提交。

mysql> use test1;

mysql> show tables;

mysql>desc tb1;

mysql> begin;

mysql> insert into tb1 values(1,‘lisi‘,1,‘123456‘,‘2016-01-17‘,‘2020-01-17‘,‘192.168.10.1‘);

mysql>insert into tb1 values(2,‘zhangsan‘,2,‘123456‘,‘2016-01-17‘,‘2020-01-17‘,‘192.168.10.11‘);

mysql> commit;

2、InnoDB支持数据行锁定，MyISAM不支持行锁定，只支持锁定整个表。即MyISAM同一

个表上的读锁和写锁是互斥的，MyISAM并发读写时如果等待队列中既有读请求又有写请求，

默认写请求的优先级高，即使读请求先到，所以MyISAM不适合于有大量查询和修改并存的

情况，那样查询进程会长时间阻塞。因为MyISAM是锁表。

3、InnoDB支持外键，MyISAM不支持。

4、InnoDB不支持全文索引，而MyISAM支持。

二、MySQL 自带工具使用介绍

MySQL 数据库不仅提供了数据库的服务器端应用程序，同时还提供了大量的客户端工具程

序，如mysql，mysqladmin，mysqldump等等

1、mysql命令

Mysql命令是用的最多的一个命令工具了，为用户提供一个命令行接口来操作管理 MySQL

服务器。

语法格式：

Usage: mysql [OPTIONS] [database]

例如：# mysql-e "select user,host from user"mysql

大家只要运行一下“mysql --help”就会得到如下相应的基本使用帮助信息：

这里主要介绍一些在运维过程中会用到的相关选项：

首先看看“-e, --execute=name”参数，这个参数是告诉mysql，我要执行“-e”后面的某个

命令，而不是要通过mysql连接登录到 MySQL Server 上面。此参数在我们写一些基本的

MySQL 检查和监控的脚本中非常有用，运维mysql时经常在脚本中使用到它。

#mysql -hhostname -Pport -uusername-ppassword -e 相关mysql的sql语句

例 1：

通过binlog_cache_use以及binlog_cache_disk_use来分析设置的binlog_cache_size

是否足够

如果在连接时候使用了“-E, --vertical”参数，登入之后的所有查询结果都将以纵列显示，效

果和我们在一条 query 之后以“\G”结尾一样。

#mysql -E -u root –p

“--prompt=name”参数对于做运维的人来说是一个非常重要的参数选项，其主要功能是定

制自己的mysql提示符的显示内容。在默认情况下，我们通过mysql登入到数据库之后，mysql

的提示符只是一个很简单的内容”mysql>“，没有其他任何附加信息。非常幸运的是mysql

通过“--prompt=name”参数给我们提供了自定义提示信息的办法，可以通过配置显示登入

的主机地址，登录用户名，当前时间，当前数据库 schema，MySQL Server 的一些信

息等等。我个人强烈建议将登录主机名，登录用户名和所在的 schema 这三项加入提示内容，

因为当大家手边管理的 MySQL 越来越多，操作越来越频繁的时候，非常容易因为操作的时

候没有太在意自己当前所处的环境而造成在错误的环境执行了错误的命令并造成严重后果

的情况。如果我们在提示内容中加入了这几项之后，至少可以更方便的提醒自己当前所处环

境，以尽量减少犯错误的概率。

个人强烈建议提示符定义： "\\[email protected]\\h : \\d \\r:\\m:\\s> "，显示效果：

切换数据库：

提示符解释：

\u 表示用户名, \h 表示主机名， \d 表示当前数据库，\r 小时（12 小时制），\m 分种，\s

秒，\R The current time, in 24-hour military time (0–23)

“--tee=name”参数也是对运维人员非常有用的参数选项，用来告诉mysql，将所有输入和

输出内容都记录进文件。在我们一些较大维护变更的时候，为了方便被查，最好是将整个操

作过程的所有输入和输出内容都保存下来。

假如mysql命令行状态下，要进行大量的交互操作，其实可以把这些操作记录在 log 中进行

审计，很简单mysql -u root -p --tee=/path/xxxx.log

也可以在服务器上的/etc/my.cnf中的[client]加入

tee =/tmp/client_mysql.log 即可.

注：若没有[client]就添加即可

或者在mysql>提示符下执行下面的命令

mysql其他参数选项可以通过 MySQL 官方参考手册查阅，也可以通过执行“mysql --help”

或 man mysql得到帮助信息之后通过自行实验来做进一步的深刻认识。

2、mysqladmin

Usage: mysqladmin [OPTIONS] command command...

mysqadmin，顾名思义，提供的功能都是与 MySQL 管理相关的各种功能。如MySQL Server

状态检查，各种统计信息的 flush，创建/删除数据库，关闭 MySQL Server 等等。mysqladmin

所能做的事情，虽然大部分都可以通过mysql连接登录上 MySQL Server 之后来完成，但是

大部分通过mysqladmin来完成操作会更简单更方便。这里将介绍一下经常使用到的几个常

用功能：

ping 命令可以很容易检测 MySQLServer 是否还能正常提供服务

mysql本机上测试：

在其他主机上测试mysql server 是否正常提供服务

status 命令可以获取当前 MySQL Server的几个基本的状态值：

mysqladmin status 命令结果有下述列

Uptime:是mysql服务器运行的秒数。

Threads:活跃线程的数量即开启的会话数。

Questions：服务器启动以来客户的问题(查询)数目（只要跟mysql作交互，不管查询表，

还是查询服务器状态都记一次）。

Slow queries：是慢查询的数量。

Opens：mysql已经打开的数据库表的数量

Flush tables: mysql已经执行的 flushtables，refresh 和 reload 命令的数量。

注：flush tables //刷新表（清除缓存）

reload 重载授权表

refresh 洗掉所有表并关闭和打开日志文件

open：打开数据库的表的数量，以服务器启动开始。

Queries per second avg：select 语句平均查询时间

Memory in use 分配的内存(只有在 MySQL 用--with-debug编译时可用)

Max memory used 分配的最大内存(只有在 MySQL 用--with-debug编译时可用)

processlist获取当前数据库的连接线程信息：

监控mysql进程运行状态：

上面的这三个功能在一些简单监控脚本中经常使用到的。

mysqladmin其他参数选项可以通过执行“mysqladmin--help”或 man mysqladmin得到帮助

信息。

编写一个简单的mysql监控脚本，内容如下：

附加知识点 1：

Mysql的系统数据库：

1） INFORMATION_SCHEMA 数据字典：此数据库存贮了其他所有数据库的信息（元数据）。

元数据是关于数据的数据，如 database name 或 table name，列的数据类型，或访问权

限等。

INFORMATION_SCHEMA 库的主要系统表

TABLES 表：提供了关于数据库中的表和视图的信息。（Table_schema字段代表数据表所属的数据

库名）

SELECT * FROM information_schema.TABLESWHERE TABLE_SCHEMA=‘数据库名‘;

COLUMNS 表：提供了表中的列信息。详细表述了某张表的所有列以及每个列的信息。

SELECT * FROM information_schema.COLUMNSWHERE TABLE_SCHEMA=‘数据库名

‘‘ AND TABLE_NAME=‘表名‘

TABLE_CONSTRAINTS  表：存储主键约束、外键约束、唯一约束、check约束。各字段的说明

信息

ELECT * FROMinformation_schema.TABLE_CONSTRAINTS WHERE TABLE_SCHEMA=‘ 数据库名

‘ AND TABLE_NAME=‘表名‘

STATISTICS 表：提供了关于表索引的信息。

SELECT * FROM information_schema.STATISTICSWHERE TABLE_SCHEMA=‘ 数据库名

‘ AND TABLE_NAME=‘表名‘

2）performance_schema性能字典，此数据库为数据库性能优化提供重要的参考信息

3）MYSQL 数据库: 该数据库也是个核心数据库，存储用户的权限信息与帮助信息。

4）MySQL5.7 提供了 sys 系统数据库。 sys 数据库里面包含了一系列的存储过程、自定义函

数以及视图来帮助我们快速的了解系统的元数据信息。sys 系统数据库结合了

information_schema和performance_schema的相关数据，让我们更加容易的检索元数据。

附加知识点 2：

mysql有关 show 的用法

SHOW DATABASES 列出 MySQLServer 上的数据库。

SHOW TABLES [FROM db_name]列出数据库中的表。

SHOW TABLE STATUS [FROM db_name]列出数据库的表信息，比较详细。

SHOW COLUMNS FROM tbl_name [FROM db_name]列出表的列信息，

同 SHOW FIELDS FROM tbl_name [FROM db_name]，

DESCRIBE tbl_name [col_name]。

SHOW FULL COLUMNS FROM tbl_name [FROMdb_name] 列出表的列信息，比较详细，

同 SHOW FULL FIELDS FROM tbl_name [FROM db_name]。

SHOW INDEX FROM tbl_name [FROM db_name]列出表的索引信息。

SHOW STATUS 列出 Server 的状态信息。

SHOW VARIABLES 列出 MySQL 系参数值

SHOW PROCESSLIST 查看当前mysql查询进程

SHOW GRANTS FOR user 列出用户的授权命令

3、mysqldump：

这个工具其功能就是将 MySQL Server 中的数据以 SQL 语句的形式从数据库中 dump 成文本

文件。mysqldump是做为 MySQL 的一种逻辑备份工具

4、mysqlbinlog

mysqlbinlog程序的主要功能就是分析 MySQLServer 所产生的二进制日志（也就是binlog）。

通过mysqlbinlog，我们可以解析出binlog中指定时间段或者指定日志起始和结束位置的内

容解析成 SQL 语句。

三、Mysqlslap  性能测试MySQL 二 种存储引擎

mysqlslap 是 mysql 自带的基准测试工具,优点:查询数据,语法简单,灵活容易使用.该工具可以

模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引

擎的性能比较.msqlslap 为 mysql 性能优化前后提供了直观的验证依据,建议系统运维和 DBA

人员应该掌握一些常见的压力测试工具,才能准确的掌握线上数据库支撑的用户流量上限及

其抗压性等问题。

现在看一下这个压力测试工具 mysqlslap，关于他的选项手册上以及--help 介绍的很详细。

这里解释一下一些常用的选项。

--concurrency 代表并发数量，多个可以用逗号隔开。例如：concurrency=50,100,200

--engines 代表要测试的引擎，可以有多个，用分隔符隔开。

--iterations 代表要运行这些测试多少次，即运行多少次后，得到结果。

--auto-generate-sql 代表用系统自己生成的SQL 脚本来测试。

--auto-generate-sql-load-type 代表要测试的是读还是写还是两者混合的

（read,write,update,mixed）

--number-of-queries 代表总共要运行多少次查询。每个客户运行的查询数量可以用查询总数

/并发数来计算。比如倒数第二个结果2=200/100。

--debug-info 代表要额外输出 CPU 以及内存的相关信息（注：只有在 MySQL 用--with-debug

编译时可）。

--number-int-cols 代表测试表中的INTEGER 类型的属性有几个。

--number-char-cols 代表测试表的 char 类型字段的数量。

--create-schema 代表自己定义的模式（在MySQL 中也就是库即创建测试的数据库）。

--query 代表自己的 SQL 脚本。

--only-print 如果只想打印看看 SQL 语句是什么，可以用这个选项。

--csv=name 生产 CSV 格式数据文件

查看 Mysql 数据库默认最大连接数

可以看到 mysql5.7.13 默认是 151，注：不同版本默认最大连接数不差别。一般生产环境是

不够的，在 my.cnf [mysqld]下添加 max_connections=1024 增加到 1024，重启 Mysql。

修改 my.cnf 文件并重起 mysqld 服务

查看修改后的最大连接数

查看 Mysql 默认使用存储引擎，如下查看：

mysql> show engines;

现在我们来看一下具体测试的例子

用自带的 SQL 脚本来测试:

[[email protected] ~]# mysqlslap--defaults-file=/etc/my.cnf

--concurrency=50,100

--iterations=1

--number-int-cols=20

--number-char-cols=30

--auto-generate-sql

--auto-generate-sql-add-autoincrement

--auto-generate-sql-load-type=mixed

--engine=myisam,innodb

--number-of-queries=3000 -uroot -p123456--verbose

显示结果：

测试说明：模拟测试两次读写并发，第一次 50，第二次 100，自动生成 SQL 脚本，测试表

包含 20 个 init 字段，30 个 char 字段，每次执行 2000 查询请求。测试引擎分别是myisam，innodb。

测试结果说明：

Myisam 第一次 50 客户端同时发起增查用0.167/s,第二次100 客户端同时发起

增查用 0.152s

Innodb 第一次 50 客户端同时发起增查用 0.365/s,第二次 100 客户端同时发起

增查用 0.709/s

由此可见 MyISAM 存储引擎处理性能是最好的，也是最常用的，但不支持事务。InonDB 存

储引擎提供了事务型数据引擎（ACID），在事务型引擎里使用最多的。具有事务回滚，系统

修复等特点。

 

Mysqlslap 测试工具生产 CSV 格式数据文件并转换成图表形式：

[[email protected] ~]# mysqlslap--defaults-file=/etc/my.cnf --concurrency=50,100 --iterations=1

--number-int-cols=20 --number-char-cols=30--auto-generate-sql

--auto-generate-sql-add-autoincrement--auto-generate-sql-load-type=mixed

--engine=myisam,innodb--number-of-queries=3000 -uroot -p123456 --csv=/root/a.csv

执行结果：

将 a.csv 拷贝到 windows 主机上，打开并生成图表

本文出自 “你好阳光” 博客，谢绝转载！