《InnoDB引擎六》InnoDB 1.0.x版本之前的Master Thread

Posted 2022-12-15 DATA数据猿

Master Thread 工作方式

  在后台线程中提到，Master Thread是核心的后台线程。InnoDB存储引擎的主要工作都是在一个单独线程中完成的。

InnoDB 1.0.x版本之前的Master Thread

  Master Thread具有最高的线程优先级别。内部由多个循环组成：主循环(loop)、后台循环(backgroup loop)、刷新循环(flush loop)、暂停循环(suspend loop)。Master Thread会根据数据库运行的状态在这四个循环中进行切换。

  Loop被称为主循环，因为大多数的操作都在主循环里，其中有两大部分的操作-即每秒钟的操作和每10秒的操作。伪代码如下：

void master_thread()
    loop;
    for(int i = 0; i < 10 ; i++)
        do thing once per second
        sleep 1 second if necessary
    
    do things once per ten seconds
    goto loop;

  如伪代码所示，loop循环是通过thread sleep实现的，这意味着其中的每秒一次或每10秒一次是不精准的。当负载很大的时候可能会有延迟。然后，InnoDB源代码中通过其他方法尽量保证整个频率。

每秒一次的操作包括：

• 日志缓存刷新到磁盘，即使事务还没提交；（总是）

    即使某个事物还没有提交，InnoDB存储引擎仍然每秒将重做日志缓冲中的内容刷新到重做日志文件。这一点是是必须要知道的，因为这可以很好的解释为什么再大的事物提交时间也是很短的。

• 合并插入缓冲；（可能）

    合并插入缓冲并不是每秒都会发生的。InnoDB存储引擎会判断当前一秒发生的IO次数是否小于5次，如果小于5次，InnoDB认为当前的IO压力很小，可以执行合并插入缓冲的操作。

• 至多刷新100个InnoDB的缓冲池中脏页到磁盘；（可能）

    刷新100搁脏页也不是每秒都会发生的。InnoDB存储引擎通过判断当前缓冲池中脏页的比例buf_get_modified_ratio_pct是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认90，代表90%)，如果超过了这个阈值，InnoDB存储引擎认为需要做磁盘同步的操作，将100个脏页写入磁盘中。

• 如果当前没有用户获得，则切换到backgroup loop；（可能）

void master_thread()
    goto loop;
    loop;
    for(int i=0;i<10;i++)
        thread_sleep(1)
        do log buffer flush to disk;
        if(last_one_second_ios < 5)
            do merge at most 5 insert buffer
        if(buf_get_modified_ratio_pct > inodb_max_dirty_pages_pct)
            do buffer pool flush 100 dirty page
        if(no user activity)
            goto backgroup loop
    
    do things once per ten seconds
    backgroup loop:
    	do something
        goto loop;

每十秒一次的操作包括：

• 刷新100个脏页到磁盘(可能情况)
• 合并至多5个插入缓冲(总是)
• 将日志缓冲刷新到磁盘(总是)
• 删除无用的Undo页(总是)
• 刷新100个或者10个脏页到磁盘(总是)

  InnoDB存储引擎先判断过去10秒之内的磁盘的IO操作是否小于200次，如果是，InnoDB存储引擎认为当前有足够的磁盘IO操作能力，因此将100个脏页刷新到磁盘。

  接着InnoDB存储引擎会合并插入缓冲。不同于每秒一次操作时可能发生的合并插入缓冲操作，这次的合并插入缓冲操作总会在这个阶段进行。之后，InnoDB存储引擎会再进行一次将日志缓冲刷新到磁盘的操作。这和每秒一次时发生的操作是一样的。

  接着InnoDB存储引擎会进行下一步full purge操作，删除无用的undo页。对表进行update、delete这类操作时，原先的行被标记为删除，但是因为一致性读的关系，需要保留这些行版本的信息，但是在full purge过程中，InnoDB存储引擎会判断当前事务系统中已被删除的行是否可以删除，比如有时候可能还有查询操作需要读取之前版本的undo信息，如果可以删除，InnoDB会立即将其删除。从源代码中可以发现，InnoDB存储引擎在执行full purge操作时，每次最多尝试回收20个undo页。

  然后，InnoDB存储引擎会判断缓冲池中脏页的比例(buf_get_modified_ratio_pct)，如果有超过70%的脏页，则刷新100个脏页到磁盘，如果脏页的比例小于70%，则只需要刷新10%的脏页到磁盘。

  主循环伪代码如下：

void master_thread()
    goto loop;
    loop;
    for(int i=0;i<10;i++)
        thread_sleep(1)
        do log buffer flush to disk;
        if(last_one_second_ios < 5)
            do merge at most 5 insert buffer
        if(buf_get_modified_ratio_pct > inodb_max_dirty_pages_pct)
            do buffer pool flush 100 dirty page
        if(no user activity)
            goto backgroup loop
    
    if(last_ten_second_ios < 200)
        do buffer pool flush 100 dirty page
        do merge at most 5 insert buffer
        do log buffer flush to disk
        do pull purge
    if(buf_get_modified_ratio_pct > 70%)
        do buffer pool flush 100 dirty page
    else 
        buffer pool flush 10 dirty page
    goto loop
    backgroup loop:
    	do something
    goto loop;

  然后再看一下background loop，若当前没有用户活动(数据库空闲时)或者数据库关闭(shutdown)，就会切换到这个循环。backgroup loop会执行以下操作：

• 删除无用的undo页（总是）
• 合并20个插入缓冲（总是）
• 跳回到主循环（总是）
• 不断刷新100个页直到符合条件（可能，跳转到flush loop中完成）。

  若flush loop中也没有什么事情可以做了，InnoDB存储引擎会切换到suspend_loop，将Master Thread挂起，等待事件的发生。若用户启用了InnoDB引擎，却没有使用任何InnoDB存储引擎的表，那么Master Thread总是处于挂起状态。

  最后，Master Thread完整的伪代码如下：

void master_thread()
    goto loop;
    loop;
    for(int i=0;i<10;i++)
        thread_sleep(1)
        do log buffer flush to disk;
        if(last_one_second_ios < 5)
            do merge at most 5 insert buffer
        if(buf_get_modified_ratio_pct > inodb_max_dirty_pages_pct)
            do buffer pool flush 100 dirty page
        if(no user activity)
            goto backgroup loop
    
    if(last_ten_second_ios < 200)
        do buffer pool flush 100 dirty page
        do merge at most 5 insert buffer
        do log buffer flush to disk
        do pull purge
    if(buf_get_modified_ratio_pct > 70%)
        do buffer pool flush 100 dirty page
    else 
        buffer pool flush 10 dirty page
    goto loop
    backgroup loop:
    	do full purge
        do mere 20 insert buffer
    if not idle:
    	do merge 20 insert buffer
        goto loop:
    else:
    	goto flush loop
    flush loop:
    	do buffer pool flush 100 dirty page
    if(buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct)
        goto flush loop
    goto suspend loop
        suspend loop;
    	suspend_thread();
    	waiting event;
    goto loop;