Java NIO1：I/O模型概述

Posted 2020-07-09 IT·达人

I/O模型

在开始NIO的学习之前，先对I/O的模型有一个理解，这对NIO的学习是绝对有好处的。我画一张图，简单表示一下数据从外部磁盘向运行中进程的内存区域移动的过程：

这张图片明显忽略了很多细节，只涉及了基本操作，下面分析一下这张图。

 

用户空间和内核空间

一个计算机通常有一定大小的内存空间，如一台计算机有4GB的地址空间，但是程序并不能完全使用这些地址空间，因为这些地址空间是被划分为用户空间和内核空间的。程序只能使用用户空间的内存，这里所说的使用是指程序能够申请的内存空间，并不是真正访问的地址空间。下面看下什么是用户空间和内核空间：

1、用户空间

     用户空间是常规进程所在的区域，什么是常规进程，打开任务管理器看到的就是常规进程：

     

     JVM就是常规进程，驻守于用户空间，用户空间是非特权区域，比如在该区域执行的代码不能直接访问硬件设备。

2、内核空间

     内核空间主要是指操作系统运行时所使用的用于程序调度、虚拟内存的使用或者连接硬件资源等的程序逻辑。内核代码有特别的权利，比如它能与设备控制器通讯，控制着整个用于区域进程的运行状态。和I/O相关的一点是：所有I/O都直接或间接通过内核空间。

那么，为什么要划分用户空间和内核空间呢？这也是为了保证操作系统的稳定性和安全 性。用户程序不可以直接访问硬件资源，如果用户程序需要访问硬件资源，必须调用操作系统提供的接口，这个调用接口的过程也就是系统调用。每一次系统调用都 会存在两个内存空间之间的相互切换，通常的网络传输也是一次系统调用，通过网络传输的数据先是从内核空间接收到远程主机的数据，然后再从内核空间复制到用 户空间，供用户程序使用。这种从内核空间到用户控件的数据复制很费时，虽然保住了程序运行的安全性和稳定性，但是牺牲了一部分的效率。

最后，如何分配用户空间和内核空间的比例也是一个问题，是更多地分配给用户空间供 用户程序使用，还是首先保住内核有足够的空间来运行，还是要平衡一下。在当前的Windows 32位操作系统中，默认用户空间：内核空间的比例是1:1，而在32位Linux系统中的默认比例是3:1（3GB用户空间、1GB内核空间）。

 

进程执行I/O操作的步骤

缓冲区，以及缓冲区如何工作，是所有I/O的基础。所谓"输入/输出"讲的无非也就是把数据移入或移出缓冲区。

进程执行I/O操作，归结起来，就是向操作系统发出请求，让它要么把缓冲区里的数据排干净（写），要么用数据把缓冲区填满（读）。进程利用这一机制处理所有数据进出操作，操作系统内部处理这一任务的机制，其复杂程度可能超乎想像，但就概念而言，却非常直白易懂，从上面的图，可以总结一下进程执行I/O操作的几步：

1、进程使用底层函数read()，建立和执行适当的系统调用，要求其缓冲区被填满，此时控制权移交给内核

2、内核随即向磁盘控制硬件发出命令，要求其从磁盘读取数据

3、磁盘控制器和数据直接写入内核内存缓冲区，这一步通过DMA完成，无需主CPU协助。这里多提一句，关于DMA，可以百度一下，它是现代电脑的重要特色，它允许不同速度的硬件装置来沟通，而不需要依赖于CPU的大量中断负载，大大提升了整个系统的效率

4、一盘磁盘控制器把缓冲区填满，内核随即把数据从内核空间的临时缓冲区拷贝到进程执行read()调用时指定的缓冲区

5、进程从用户空间的缓冲区中拿到数据

当然，如果内核空间里已经有数据了，那么该数据只需要简单地拷贝出来即可。至于为什么不能直接让磁盘控制器把数据送到用户空间的缓冲区呢？最简单的一个理由就是，硬件通常不能直接访问用户空间。

 

同步和异步、阻塞和非阻塞

有了上面对于I/O的解读，我们来看一下同步和异步、阻塞和非阻塞两组概念的区别，主要二者在关注点上有所不同。

1、同步和异步

同步和异步这个概念比较广，不仅仅是在I/O，其他的还有诸如同步调用/异步调用、同步请求/异步请求，都是一个意思。同步和异步，关注的是消息通信机制。

所谓同步，就是在发出一个"调用请求"时，在没有得到结果之前，该"调用请求"就不返回，但是一旦调用返回就得到返回值了。换句话说，就是由"调用者"主动等待"调用"的结果。像我们平时写的，方法A调用Math.random()方法、方法B调用String.substring()方法都是同步调用，因为调用者主动在等待这些方法的返回。

所谓异步，则正好相反，"调用"发出之后，这个调用就直接返回了，所有没有返回结果。换句话说，当一个异步调用请求发出之后，调用者不会立刻得到结果，因此异步调用适用于那些对数据一致性要求不是很高的场景，比如模块A更新了缓存中的某个值，模块B将某个内容分享到新浪微博，这些模块的关注点更多是"做了这件事"而不是"做了这件事是否马上成功"， 用分布式的话说，就是牺牲了系统的强一致性而提高了整个系统的可用性及分区容错性。如果这种场景下，我们希望获取异步调用的结果，"被调用者"可以通过状 态、通知来通知调用者，或通过回调函数处理这个调用，对应Java中的有Future/FutureTask、wait/notify。

2、阻塞和非阻塞

阻塞和非阻塞关注的是程序在等待调用结果时的状态。

阻塞调用指的是调用结果返回之前，当前线程会被挂起，调用线程只有在得到结果之后才会返回。

非阻塞调用指的是在不能立即得到结果之前，该调用不会阻塞当前线程。

 

Linux网络I/O模型

由于绝大多数的Java应用都部署在Linux系统上，因此这里谈一下Linux网络I/O模型。

Linux的内核将所有外部设备都看做一个文件来操作，对一个文件的读写操作会调 用内核提供的系统命令，返回一个file descriptor（fd，文件描述符）。而对一个Socket的读写也会有相应的描述符，称为Socketfd（Socket描述符），描述符就是一 个数字，它指向内核中的一个结构体（结构体，C/C++数据类型，类似Java中的类，存储各种不同类型的数据，这里存储的是文件路径、数据区等一些属 性）。

根据UNIX网络编程对I/O模型的分类，UNIX提供了5种I/O模型，分别为：

1、阻塞I/O模型

阻塞I/O模型就是最常用的I/O模型，缺省情况下所有的文件操作都是阻塞的，以Socket来讲解此模型：在用户空间中调用recvfrom，其系统调用直到数据包到达且被复制到应用进程的缓冲区或者发生错误时才返回，在此期间会一直等待，进程在从调用recvfrom开始到它返回的整段时间内都是被阻塞的，因此被称为阻塞I/O。

2、非阻塞I/O模型

recvfrom从用户空间到内核空间的时候，如果该缓冲区没有数据的话，就直接返回一个EWOULDBOCK错误，一般都对非阻塞I/O模型进行轮询检查这个状态，看内核空间是不是有数据到来，有数据到来则从内核空间复制数据到用户空间。

3、I/O复用模型

Linux提供select/poll，进程通过将一个或者多个fd传递给select或poll系统调用，阻塞在select操作上， 这样select/poll可以帮助我们侦测多个fd是否处于就绪状态。select/poll是顺序扫描fd是否就绪，而且支持的fd数量有限，因此它 的使用受到了一些制约。Linux还提供了一个epoll系统调用，epoll使用基于事件驱动方式替代顺序扫描，因此性能更高。当有fd就绪时，立即会 掉函数rollback。

4、信号驱动I/O模型

首先开启Socket信号驱动I/O功能，并通过系统调用sigaction执行 一个信号处理函数（此系统调用立即返回，进程继续工作，它是非阻塞的）。当数据准备就绪时，就为进程生成一个SIGIO信号，通过信号会掉通知应用程序调 用recvfrom来读取数据，并通知主循环函数来处理数据。

5、异步I/O

告知内核启动某个操作，并让内核在整个操作完成后（包括将数据从内核复制到用户自己的缓冲区）通知开发者。这种模型与信号驱动I/O模型的主要区别是：信号驱动I/O模型由内核通知开发者何时可以开始一个I/O操作，异步I/O模型由内核通知开发者I/O操作何时已经完成。