mysql之innodb存储引擎---数据存储结构

Posted 2022-10-03 zsql

一、背景

1.1文件组织架构

首先看一下mysql数据系统涉及到的文件组织架构，如下图所示：

 

 

 msyql文件组织架构图

从图看出：

1、日志文件：slow.log(慢日志)，error.log(错误日志)，general.log(基本日志)

2、配置文件：my.cnf

3、数据库：performance_schema，mysql，information_schema，sys

4、innodb存储引擎（框中部分）,主要包括有：两个日志文件ib_logfile0和ib_logfile1，由参数innodb_log_file_size控制大小，innodb_log_files_in_group控制个数。userdb是用户创建的数据库，其中各有三个表，t1,t2,t3，并分别对应三个.frm文件。但是可以只有一个ibd文件，由参数innodb_file_per_table控制，表示是否启用单独的表空间。其中t1表是单独的表空间，t2和t3使用共享表空间。db.opt是msyql的一些配置信息，如编码，排序等。

1.2 系统表 

 由于msyql是插拔式数据库，分为server层和存储引擎层，server层只有一个，而存储引擎有多种，所以这两者需要相互配合，由于最早的存储引擎MyISAM没有定义系统表，只有.frm文件，导致了后面的存储引擎也没有像Oracle一样查看系统表。其实Innodb有四个系统表：SYS_TABLES,SYS_COLUMNS,SYS_INDEXES,SYS_FILES

SYS_TABLES：存储所有以Innodb为存储引擎的表
SYS_COLUMNS：存储innodb表的所有列
SYS_INDEXES：存储innodb表中的索引信息
SYS_FILES：存储innodb表中索引中定义的所有列

 

 

二、表空间

首先看一下innodb的逻辑存储结构，如图所示：

 

 

 innodb逻辑存储结构

     从innodb逻辑存储结构看，所有的数据都被逻辑的存放在一个空间中，为表空间（tablespace）。表空间又由段（segment）、区（extend）、页（page）组成，页也可以别成为块（block）。

    表空间为innodb存储引擎的存储结构的最高层，所以数据都放在表空间中。默认的表空间为ibdata1。如果设置了参数innodb_file_per_table，则每个表可以cun存放在单独的表空间。只有数据，索引，插入缓冲Bitmap页存放在单独的表空间，回滚信息，插入缓冲索引页，系统事务信息，二次写缓冲还是存放在共享表空间中。

    注意：innodb存储引擎在rollback时去收缩共享表空间，不会回收这些空间，但是会自动判断这些undo页是否还需要，如果不需要，则标记为可用空间，供下次undo页使用。

三、段

   段是表空间文件中的主要组织结构，它是一个逻辑概念，用来管理物理文件，是构成索引、表、回滚段的基本元素。

  上图中显示了表空间是由各个段组成的，常见的段有数据段、索引段、回滚段等。InnoDB存储引擎表是索引组织的（index organized），因此数据即索引，索引即数据。那么数据段即为B+树的页节点（上图的leaf node segment），索引段即为B+树的非索引节点（上图的non-leaf node segment）。

   创建一个索引（B+树）时会同时创建两个段，分别是内节点段和叶子段，内节点段用来管理（存储）B+树非叶子（页面）的数据，叶子段用来管理（存储）B+树叶子节点的数据；也就是说，在索引数据量一直增长的过程中，所有新的存储空间的申请，都是从“段”这个概念中申请的。在内节点分裂时申请新节点就在内节点段申请，在叶子节点分裂时申请新节点，就在叶子段申请。

四、簇/区

     已知一个索引由两个段组成，段是个逻辑概念，innodb引入了簇的概念，在代码中被称为extent；

    簇是段的基本构成单位，一个段可由多个簇构成，一个簇是物理上连续分配的一段空间。每一个段至少会有一个簇，在创建一个段时会创建一个默认的簇。如果存储数据时，一个簇已经不足以放下更多的数据，此时需要从这个段中分配一个新的簇来存放新的数据。一个段所管理的空间大小是无限的，可以一直扩展下去，但是扩展的最小单位就是簇。

   簇的大小是固定的（1M=64*16k）。簇默认是由64个连续的页组成的，每个页大小为16KB。可以通过参数innodb_page_size修改页的大小，这样一个簇中的页的数量必定会增多（必须保证一个簇的大小为1M）

 五、页

    页是簇的组成单位，也是段所管理的最小单位，数据文件管理的最小单位，也是文件空间分配的最小单位。

    在逻辑上（页面号都是从小到大连续的）及物理上都是连续的。在向表中插入数据时，如果一个页面已经被写完，系统会从当前簇中分配一个新的空闲页面处理使用，如果当前簇中的64个页面都被分配完，系统会从当前页面所在段中分配一个新的簇，然后再从这个簇中分配一个新的页面来使用。

常见的页类型有：
数据页（B-tree Node）。
Undo页（Undo Log Page）。
系统页（System Page）。
事务数据页（Transaction system Page）。
插入缓冲位图页（Insert Buffer Bitmap）。
插入缓冲空闲列表页（Insert Buffer Free List）。
未压缩的二进制大对象页（Uncompressed BLOB Page）。
压缩的二进制大对象页（Compressed BLOB Page）

段、簇、页的关系图如下：

 

 段、簇、页关系图

六、段、簇、页组织结构

    一个表空间可以有多个文件，每个文件都有各自的编号，创建一个表空间时，至少有一个文件，这个文件被称为“0号文件”。一个文件是被切割为等长“默认16KB”的块，这个块通常被称为页面，那么在“0号文件”的第一个页面（page_no为0）中，存储了这个表空间中所有段簇也管理的入口，那么在这个页面存储的数据就是16KB，但通常会有页面头信息会占用一些空间，真正的管理信息数据是从页面偏移为fil_page_data(38)的位置开始的，这个位置存储了表空间的描述信息，具体内如如下：

FSP_SPACE_ID：该文件对应的spaceid
FSP_NOT_USED：如其名，保留字节，当前未使用
FSP_SIZE：当前表空间总的PAGE个数，扩展文件时需要更新该值（fsp_try_extend_data_file_with_pages）
FSP_FREE_LIMIT：当前尚未初始化的最小PageNo。从该Page往后的都尚未加入到表空间的FREELIST上。
FSP_SPACE_FLAGS：当前表空间的FLAG信息
FSP_FRAG_N_USED：FSP_FREE_FRAG链表上已被使用的Page数，用于快速计算该链表上可用空闲Page数
FSP_FREE：当一个Extent中所有page都未被使用时，放到该链表上，可以用于随后的分配（空闲簇）
FSP_FREE_FRAG：FREE_FRAG链表的BaseNode，通常这样的Extent中的Page可能归属于不同的segment，用于segmentfragarraypage的分配（半满簇）
FSP_FULL_FRAG：Extent中所有的page都被使用掉时，会放到该链表上，当有Page从该Extent释放时，则移回FREE_FRAG链表（满簇）
FSP_SEG_ID：当前文件中最大SegmentID+1，用于段分配时的segid计数器
FSP_SEG_INODES_FULL：已被完全用满的InodePage链表
FSP_SEG_INODES_FREE：至少存在一个空闲InodeEntry的InodePage被放到该链表上

具体的结构请看图：

InnoDB 表空间page管理

 

  上图中，在InnoDB里链表头称为FLST_BASE_NODE，大小为FLST_BASE_NODE_SIZE(16个字节)。BASE NODE维护了链表的头指针和末尾指针，每个节点称为FLST_NODE，大小为FLST_NODE_SIZE（12个字节）

     表空间控制信息中有：满簇链表，半满簇链表，空闲簇链表，而段的Inode中也有满簇链表，半满簇链表，空闲簇链表，但是他们是不同的，表空间中的链表管理是整个表空间中所有的满簇链表，半满簇链表，空闲簇链表，而段的Inode信息中管理的是属于自己断种的满簇链表，半满簇链表，空闲簇链表，当段申请一个新簇时，如果段上没有空闲簇，这样就会去表空间的簇上找，找到后从相应的链表中摘下来给段所用。

      数据文件的第一个Page类型为FIL_PAGE_TYPE_FSP_HDR，在创建一个新的表空间时进行初始化(fsp_header_init)，该page同时用于跟踪随后的256个Extent(约256MB文件大小)的空间管理，所以每隔256MB就要创建一个类似的数据页，类型为FIL_PAGE_TYPE_XDES 。

      XDES Page除了文件头部外，其他都和FSP_HDR页具有相同的数据结构，可以称之为Extent描述页（簇描述页），一个XDES Page最多描述256个Extent每个XDES PAGE最多存储256个XDES Entry，每个Entry占用40个字节（簇描述符），描述64个Page（即一个Extent）格式如下：

XDES_ID：如果该Extent归属某个segment的话，则记录其ID，8个字节
XDES_FLST_NODE：(FLST_NODE_SIZE) 维持Extent链表的双向指针节点，12字节
XDES_STATE：该Extent的状态信息，包括：XDES_FREE，XDES_FREE_FRAG，XDES_FULL_FRAG，XDES_FSEG，4字节
XDES_BITMAP：总共16*8= 128个bit，用2个bit表示Extent中的一个page，一个bit表示该page是否是空闲的(XDES_FREE_BIT)，另一个保留位，尚未使用XDES_CLEAN_BIT），16字节

      段由簇构成，段通过三个链表将不同状态的簇连接管理起来，链表是双向的，链表头分别为：FSEG_FREE,FSEG_FULL,FSEG_NOT_FULL,链表节点就是簇，每个簇被一个簇描述符管理。一个簇描述符，占用40B的空间，这些信息是被存储在页面中，这个页称为簇描述页，它存储的内容叫簇描述符。在Innodb中，一个簇描述页默认管理16834个页面，簇的大小默认为64个页，而一个簇描述符为40B，所以一个簇描述页中有16834/64=256个簇。其中256*40B空间用来存储簇描述符，关系图如下：

 

 

    其实第一个簇（其实是第一个页面）只是用来做簇描述页的，没有被加入到表空间的簇链表中，也没有假如段的簇链表中。真正的簇使用是从第二个开始的，实际只有255个簇可以被使用。

整体组织架构图如下：

 

上图描述了表空间、Inode页面、Inode、段、簇、页面之间的关系，也是Innodb文件系统的管理架构图。

 

参考：

《msyql运维内参》

《mysql技术内幕：Innodb存储引擎》

http://mysql.taobao.org/monthly/2016/02/01/