goroutine 调度算法

Posted 2020-11-30 novice-dxx

自从开始使用 Go 语言，到现在也有一年多了，虽不算精通，但也算小有理解。在这里简单记录一下我的心得（其实是学习别人的心得）

goroutine，Go 语言中 cpu 运行的最小单元，与 lua 携程类似，只是叫法和调度方式不同，而 Go-runtime 是如何调度这些 goroutine 将大大小小“工作”安排的明明白白呢，这个就是我们本章要解释的内容。

 

先提出 3 个组件，分别是 M(Machine)、P(Processor)、G(Goroutinue)，他们的相关定义和结构都可以在 Go 语言源码(runtime.h)中看到

• M（Machine）内核级线程，一个 M 就代表一个真实线程，所有的任务都是跑在 M 之上，数据结构中维护有当前管理的 P、当前执行中的 G 信息和上下文、缓存内存计数器等等...
• P（Processor）处理器，主要用途是对 goroutinue 进行管理并执行，数据结构中维护有 goroutinue 列表、当前执行中的 G 信息。看到这里可能会感觉到 P 的角色与 M 很相似，但其实 M 是真实的执行者，P 更像是执行和管理个工具，下面我们会讲到两者关系
• G (Goroutine) 携程，任务的最小单位，数据结构记录自身的上下文信息

这 3 个组件对于调度算法非常重要，整个调度的过程都由这三者进行管理（这里给出一张图，也是我想要写本章的动力，形象可爱又具体）

 

 地鼠（M）用小车（P）运送并加工砖头（G）

这里其实如果有了解过调度概念的，应该已经有了基本的头绪，下面我们深入了解一下细节

1，启动程序（编译原理不解释了，本文只讲 Go 进程的运行调度）

 执行可执行文件后，并不会直接去执行 main 函数，而是调度初始化 runtime 模块，并创建第一个 G 执行 main 函数，所以说 G 是 Go 语言的执行单元，所有的执行都是以 Goroutinue 为载体跑在 cpu 上的。那之前说过， Goroutinue 想要跑起来，必须依赖 P/M，否则只凭一块转，怎么可能将自己加工好并运出去呢？所以这里了解一下 runtime 的初始化过程（巴拉巴拉，包含参数，os，hash初始化），本文重点是调度，所以看看调度器初始化的过程就是根据用户的 cpu 核数，建立好多个 Process，然后直接将第一个 G 丢到一个 Global 队列（砖堆）中。

那么刚才也说了，最终的执行者还是要靠地鼠（M、CPU）来干苦力，在程序启动后，主函数执行之前，会创建出第一个 M（系统监控 sysmon，万恶的资本家），Go 语言的阻塞调度、GC 机制、调度算法都离不开这个 M。

sysmon 发现当前并没有 M 干活（M 不够，有空闲的 P 并且有 G）就会招聘（创建）一个地鼠（M）并将有砖块（G）的小车（P）绑定起来，到这里，一个 M/P/G 的关系就建立起来了，此时边开始由 M 去执行 P 中的 G 了。而每次代码中我们执行 go func，都会创建一个新的 goroutinue 加入到 Global 队列。

2， 调度算法

为什么存在调度，就是为了并发更高，资源利用率更高，那如果一个地鼠的砖块都干完了，当然不能停下来，而是去 Global 队列（砖堆）取，还是没有，就去其他地鼠小车里抢砖干（可以看出这里是地鼠自主的去找任务做，说明是算绩效的）。如果两者都没有，尝试几次后，就会选择去睡觉（挂起），不去消耗资源了。以上其实就是 Go 调度算法的主流程，当然一个程序中不可能不可能一切是这么自然，总有砖块是难渣滓（channel 操作，io 阻塞），goroutine 在调用时，就会变成 waiting 状态，这样地鼠就先去干后面的活了，等待 goroutine 的事件回调触发后，会重新加入到就绪队列中等待执行；而如果是需要系统调用的情况，那么地鼠（M）就必须在旁边等待，而当前小车（P）会与地鼠（M）解绑，由 sysmon 重新创建一个地鼠（M）去干剩下的活。这一整套调度算法被称为 work stealing，这种调度算法现在还经常应用于各大系统中。

 

3，抢占调度

假设一个 Goroutine 不停的 for 循环，因为 Go 语言没有根据时间片调度方式，为每个 G 设定执行时间，那他就会一直循环下去吗？当然不会，开始说过的 sysmon 就是专门搞定这些刺头，在多次监控后，发现当前 G 不停占用资源，会将其从地鼠（M）手里抢过来，强制放入就绪队列，这样就没有人能搞事情咯。

 本文仅仅是简单记录一下 goroutine 的调度大纲，其中涉及到操作系统的一些细节问题（G 上下文恢复，抢占调度，异步阻塞）这里就不一一详解了。有兴趣的程序媛们可以自行找相关的资料学习一下