IO模型

Posted 2020-12-19 zoling7

一、IO模型介绍

---

为了更好地了解 IO模型，我们回顾下：同步，异步，阻塞，非阻塞。

1，同步：

# 所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不会返回。
# 按照这个定义，其实绝大多数函数都是同步调用。但是一般而言，我们在说同步、异步的时候，
# 特指那些需要其他部件协作或者需要一定时间完成的任务。

# 举例：
# 1，multiprocessing.Pool 下的apply     # 发起同步调用后，就在原地等着任务结束，根本不考虑任务是在计算还是在io阻塞，总之就是一股脑地等任务结束
# 2，concurrent.futures.ProcessPoolExecutor().submit(func,).result()
# 3，concurrent.futures.ThreadPoolExecutor().submit(func,).result()

2，异步：

# 异步的概念和同步相对。当一个异步功能调用发出后，调用者不能立刻得到结果。
# 当该异步功能完成后，通过状态、通知或回调来通知调用者。
# 如果异步功能用状态来通知，那么调用者就需要每隔一定时间检查一次，效率就很低（有些初学多线程编程的人，总喜欢用一个循环去检查某个变量的值，这其实是一 种很严重的错误）。
# 如果是使用通知的方式，效率则很高，因为异步功能几乎不需要做额外的操作。至于回调函数，其实和通知没太多区别。

# 举例：
# 1，multiprocessing.Pool().apply_async()     # 发起异步调用后，并不会等待任务结束才返回，相反，会立即获取一个临时结果（并不是最终的结果，可能是封装好的一个对象）。
# 2，concurrent.futures.ProcessPoolExecutor(3).submit(func,)
# 3，concurrent.futures.ThreadPoolExecutor(3).submit(func,)

3，阻塞：

# 阻塞调用是指调用结果返回之前，当前线程会被挂起（如遇到io操作）。
# 函数只有在得到结果之后才会将阻塞的线程激活。有人也许会把阻塞调用和同步调用等同起来，实际上他是不同的。
# 对于同步调用来说，很多时候当前线程还是激活的，只是从逻辑上当前函数没有返回而已。

# 举例：
# 1，同步调用：apply一个累计1亿次的任务，该调用会一直等待，直到任务返回结果为止，但并未阻塞住（即便是被抢走cpu的执行权限，那也是处于就绪态）;
# 2，阻塞调用：当socket工作在阻塞模式的时候，如果没有数据的情况下调用recv函数，则当前线程就会被挂起，直到有数据为止。

4，非阻塞：

# 非阻塞和阻塞的概念相对应，指在不能立刻得到结果之前也会立刻返回，同时该函数不会阻塞当前线程。

5，总结：

# 1，同步与异步针对的是函数/任务的调用方式：同步就是当一个进程发起一个函数（任务）调用的时候，一直等到函数（任务）完成，而进程继续处于激活状态。
# 而异步情况下是当一个进程发起一个函数（任务）调用的时候，不会等函数返回，而是继续往下执行当，函数返回的时候通过状态、通知、事件等方式通知进程任务完成。

# 2，阻塞与非阻塞针对的是进程或线程：阻塞是当请求不能满足的时候就将进程挂起，而非阻塞则不会阻塞当前进程

同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？

这个问题其实不同的人给出的答案都可能不同，比如 wiki，就认为asynchronous IO和non-blocking IO是一个东西。

这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，我先限定一下本文的上下文。

"""
本文讨论的背景是Linux环境下的network IO。本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”，6.2节“I/O Models ”，Stevens在这节中详细说明了各种IO的特点和区别，如果英文够好的话，推荐直接阅读。Stevens的文风是有名的深入浅出，所以不用担心看不懂。本文中的流程图也是截取自参考文献。

Stevens在文章中一共比较了五种IO Model：  
* blocking IO  　　　　　　 阻塞IO
* nonblocking IO  　　　　 非阻塞IO
* IO multiplexing  　　　  IO的多路复用　
* signal driven IO  　　　 信号驱动IO
* asynchronous IO  　　　　 异步IO
由signal driven IO（信号驱动IO）在实际中并不常用，所以主要介绍其余四种IO Model。
"""

再说一下 IO发生时涉及的对象和步骤。对于一个network IO (这里我们以read举例)，它会涉及到两个系统对象，一个是调用这个 IO的process (or thread)，另一个就是系统内核(kernel)。当一个read操作发生时，该操作会经历两个阶段：

# 1，等待数据准备 (Waiting for the data to be ready)

# 2，将数据从内核拷贝到进程中(Copying the data from the kernel to the process)

记住这两点很重要，因为这些IO模型的区别就是在两个阶段上各有不同的情况。

补充：

# 1，输入操作：read、readv、recv、recvfrom、recvmsg共5个函数，如果会阻塞状态，则会经理wait data和copy data两个阶段，如果设置为非阻塞则在wait 不到data时抛出异常

# 2，输出操作：write、writev、send、sendto、sendmsg共5个函数，在发送缓冲区满了会阻塞在原地，如果设置为非阻塞，则会抛出异常

# 3，接收外来链接：accept，与输入操作类似

# 4，发起外出链接：connect，与输出操作类似