InnoDB体系架构Master Thread工作方式

Posted 2020-10-28 WilburXu

Master Thread工作方式

　　在前面的文章：InnoDB体系架构——后台线程 说到：InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成。这篇具体介绍该线程的具体实现及该线程可能存在的问题。

一、InnoDB1.0X版本之前的Master Thread

　　Master Thread具有最高的线程优先级别，内部由多个循环组成：主循环（loop）、后台循环（background loop）、刷新循环（flush loop）、暂停循环（suspend loop），Master Thread会根据数据库运行的状态进行循环之间的切换。

　　Loop主循环（大多数操作都在这个循环下）这个由两大部分操作，每秒和每10秒操作：

void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        do thing once per second
        sleep 1 second if necessary
    }
    do things once per then seconds
    goto loop;
}

　　可以发现，loop循环是通过thread sleep来实现的，意味着每秒或者每10每秒的操作并不是十分的精确的，在负载大的情况下，可能会有不同程度的延迟（delay）。

　　每秒一次的操作包括：

1. 日志缓冲刷新到磁盘（总是）：即使事务没有提交，InnoDB也会每秒将重做日志缓冲刷新到重做日志文件中，因此可以理解为什么再大的事务提交，时间也是很短的。

2. 合并插入缓冲insert buffer（可能）：并不是每秒刷新的，如果前一秒的IO次数小于5，则认为IO压力小，可以执行合并插入缓冲的操作。

3. 最多刷新100个InnoDB的缓冲池脏页到磁盘（可能）：判断当前缓冲池中脏页的比例(buf_get_modifyed_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数（默认为90）如果超过了这个阈值，InnoDB存储引擎认为需要做同步操作，将100个脏页写入磁盘中。

4. 如果当前没有用户活动，切换到background loop（可能）

　　每10秒的操作：

1. 刷新100个脏页到磁盘(可能)

2. 合并至多5个插入缓冲(总是)

3. 将日志缓冲刷新到磁盘(总是)

4. 删除无用的undo页(总是)：InnoDB存储引擎会执行full purse操作，即删除无用的Undo页，对表进行update、delete这类操作，原先行被标记删除，但是因为一致性读读关系，需要保留这些行的版本号，这时候会进行回收删除。

5. 刷新100个或者10个脏页到磁盘(总是)

　　接着来看background loop 若当前没有用户活动（数据库空闲时）或者数据库关闭（shutdown），就会切换到这个循环执行以下操作：

1. 删除无用的undo页(总是)

2. 合并20个插入缓冲(总是)

3. 跳回到主循环(总是)

4. 不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成)：如果fulsh loop 页没有什么事情可以做了，InnoDB存储引擎会切换到suspend loop，将Master Thread刮起。

 

二、InnoDB1.2.X之前的版本的Master Thread

　　在如今磁盘技术的快速发展中，对于缓冲池向磁盘刷新时都做了一定的hard coding，这些限制很大程度上限制了InnoDB存储引擎对磁盘IO的性能，尤其是写入性能。

　　因此提供参数innodb_io_capacity用来表示IO的吞吐量，默认200，对于刷新到磁盘页的数量，会按照innodb_io_capacity的百分比来控制：

　　　　在合并插入缓冲时，合并插入缓冲的数量为innodb_io_capacity值5%;

　　　　在从缓冲池刷新脏页时，刷行脏页的数量为innodb_io_capcity;

　　通过以下为代码，我们可以得到InnoDB1.2X前Master Thread的工作方式：

void master_thread() {
    loop:
    for(int i=0; i<10; i++) {
        thread_sleep(1)    // sleep 1秒
        do log buffer flush to dish

        if (last_one_second_ios < 5% innodb_io_capacity) {
            do merget 5% innodb_io_capacity insert buffer
        }

        if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {  // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时)
            do buffer pool flush 100% innodb_io_capacity dirty page  // 刷新全部脏页到磁盘
        } else if (enable adaptive flush) {    // 如果开户了自适应刷新
            do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量
        }

        if (no user activetuy) {
            goto background loop
        }
    }

    if (last_ten_second_ios < innodb_io_capacity) {  // 如果过去10内磁盘IO次数小于设置的innodb_io_capacity的值（默认是200）
        do buffer pool flush 100%  innodb_io_capacity dirty page
    }

    do merge 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%（10）（总是）
    do log buffer flush to dish
    do flush purge

    if (buf_get_modified_ratio_pct > 70%) {
        do buffer pool flush 100% innodb_io_capacity dirty page
    } else {
        do buffer pool flush 10% innodb_io_capacity dirty page
    }
    goto loop

    backgroud loop:   // 后台循环
    do full purge     // 删除无用的undo页 （总是）
    do merger 5% innodb_io_capacity insert buffer  // 合并插入缓冲是innodb_io_capacity的5%（10）（总是）
    if not idle:      // 如果不空闲，就跳回主循环，如果空闲就跳入flush loop
    goto loop:    // 跳到主循环
    else:
        goto flush loop
    flush loop:  // 刷新循环
    do buf_get_modified_ratio_pct pool flush 100% innodb_io_capacity dirty page // 刷新200个脏页到磁盘
    if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值（默认75%）
        goto flush loop            // 跳到刷新循环，不断刷新脏页，直到符合条件
        goto suspend loop          // 完成刷新脏页的任务后，跳入suspend loop
    suspend loop:
    suspend_thread()               //master线程挂起，等待事件发生
    waiting event
    goto loop;
}

 

三、InnoDB1.2.x版本的Master Thread

if (InnoDB is idle) {
    srv_master_do_idle_tasks();    // 每10秒操作
} else {
    srv_master_do_active_tasks();    // 每秒操作
}