再学零拷贝与mmap

Posted 2022-02-28 Shi Peng

一、零拷贝

1.1、背景知识

1.1.1、用户空间

用户空间：运行着用户编写的应用程序的虚拟内存空间。

对于32位的操作系统，每个进程有4GB的虚拟内存空间，其中0~3GB是用户空间，3~4GB 为内核空间。

1.1.2、内核空间

内核空间：运行着操作系统代码的虚拟内存空间。

1.2、下载文件的过程

客户端从服务端下载一个文件的过程：
Step1：调用read函数，从磁盘经过page cache, 读取文件到用户空间的缓冲区
Step2：调用write函数，把用户空间缓冲区的数据，发送给客户端的socket
伪代码：

while ((n = read(file, buf, 4069)) > 0) 
    write(sock, buf , n);

read过程总结：文件从磁盘–>page cache–>用户空间

write的过程总结：文件数据从用户空间–>内核的socket缓冲区，然后网卡驱动负责把socket缓冲区的数据发出去。

读写过程如下图：

从上图可以看出，数据从内核空间复制到用户空间，然后又从用户空间复制回了内核空间，所以，不经过用户空间性能更好，这就是零拷贝技术：

怎样实现上述的过程呢？可通过sendfile。

sendfile系统调用的代码：

#include <sys/sendfile.h>

ssize\\_t sendfile(int out\\_fd, int in\\_fd, off\\_t \\*offset, size\\_t count);

各参数：
1）out_fd：数据接收方文件句柄（一般为 Socket 句柄）。
2）in_fd：数据提供方文件句柄（一般为文件句柄）。
3）offset：如果 offset 不为 NULL，表示从哪里开始发送数据的偏移量。
4）count：表示需要发送多少字节的数据。

实现零拷贝技术的方式，不单有sendfile, 还有mmap, direct IO(不经过page cache, 应用场景如DB，有自己的cache方式，不要借助操作系统提供的方式), splice等。

二、mmap

2.1、传统读写文件的过程

可以看出，传统文件读写，先从磁盘上读取文件到page cache, 再从内核空间中的page cache读出，复制到用户空间的user buffer, 修改后，再写回内核空间的page cache，再刷到磁盘上：
磁盘–>page cache–>user buffer（修改）–>page cache–>磁盘。

2.2、mmap的读写

对于上述传统的文件读写的过程，能否去掉将page cache的数据复制到用户空间缓冲区的过程？

mmap可做到，不同于sendfile, mmap实现方式为：
mmap 系统调用：将用户空间的虚拟内存地址与文件进行映射（绑定），对映射后的虚拟内存地址进行读写操作就如同对文件进行读写操作一样。

mmap映射的是文件的页缓存，而非磁盘。

Linux 内核并不会主动把 mmap 映射的 页缓存 同步到磁盘，而是需要用户主动触发，同步 mmap 映射的内存到磁盘有 4 种方式：
1）调用 msync 函数主动进行数据同步（主动）。
2）调用 munmap 函数对文件进行解除映射关系时（主动）。
3）进程退出时（被动）。
4）系统关机时（被动）。