一文读懂零拷贝
Posted 鱼翔空
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一文读懂零拷贝相关的知识,希望对你有一定的参考价值。
什么是零拷贝?
零拷贝描述的是cpu不参与执行从一个存储区域到另一个存储区域的数据拷贝任务;避免让CPU做大量的数据拷贝任务,将cpu解脱出来专注于别的事,降低cpu在数据拷贝中的使用率。
零拷贝的目的
-
尽可能少的利用cpu来完成操作;
-
尽可能减少数据的读写过程;
利用零拷贝的组件
-
kafka
-
netty
-
rocketMq
-
基本上有文件和网络交互的为了效率都会用到
基本概念
-
DMA:直接内存访问(Direct Memory Access)DMA允许外设设备和内存存储器之间直接进行IO数据传输,其过程不需要CPU的参与
-
缓冲区:是所有IO的基础,IO的作用就是把数据写进或读取出缓冲区
-
read请求,内核空间缓冲区有直接copy,无则向磁盘或网络请求,通过DMA写入内核缓冲区,然后再copy
-
write请求,将用户空间的数据copy到内核缓存区,然后通过DMA把内核缓冲区写入磁盘或网卡;
-
虚拟内存:
-
一个以上的虚拟地址可以指向同一个物理内存地址,mmp利用这点
-
虚拟内存空间可大于实际可用的物理地址
-
内核空间:linux自身使用的空间,主要提供进程调度、内存分配、连接硬件资源等;
-
用户空间:提供给应用程序的空间
-
不具备访问内核空间资源的权限;
-
需要通过内核空间才能访问到内核资源;
-
使用内核资源,需要从用户到内核,再从内核到用户,cpu最少需要切换两次;
传统拷贝和零拷贝的区别
传统拷贝(基于DMA机制的copy,如果不基于DMA,则还需要两次cpu的参与)
-
应用程序发出read命令,导致由用户空间切换到内核空间;
-
通过DMA copy数据数据到page cache;
-
将数据从page cache copy到用户空间,导致由内核空间切换到用户空间;
-
应用程序发出write命令,将用户空间数据写入到socket cache中,导致由用户空间切换到内核空间;
-
写完后,返回写入状态,导致由内核空间切换到用户空间;
-
在此,总共进行了4次用户态与内核态的上下文切换,2次DMA拷贝,2次CPU数据拷贝;
零拷贝,不需要再将数据拉回应用程序
不同的零拷贝机制处理机制不太一样
零拷贝的实现机制
零拷贝的实现基于操作系统,下面所说的都是在linux中的实现。
mmap 实现
mmap 是利用虚拟内存映射的机制,代替了传统的read操作,减少了数据从内核空间到用户空间的过程;由于mmap可能是多个虚拟内存和物理内存的共享,导致一致性和原子性很难保证,别人删除了,你就无法操作;
#include <sys/mman.h>
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset)
-
发起mmap调用,导致由用户空间切换到内核空间;
-
mmap 系统调用返回后,导致由内核空间切换到用户空间;
-
发起write命令调用,cpu 将page cache 数据copy到socket cache中,导致由用户空间切换到内核空间;
-
wirte 调用返回,导致由内核空间切换到用户空间
-
在此,总共进行了4次用户态到内核态的上下文切换,2次DMA拷贝,1次cpu数据拷贝;
sendfile 实现
linux2.1 内核以后提供了sendfile实现了零拷贝
#include<sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
参数说明:
-
out_fd:数据接收方文件句柄;
-
in_fd:数据提供方文件句柄;
-
offset:如果 offset 不为 NULL,表示从哪里开始发送数据的偏移量;
-
count:表示需要发送多少字节的数据;
-
发起sendfile时,导致由用户空间切换到内核空间;
-
直接通过DMA拷贝到page cache,再从page cache 到 socket cache进行 cpu copy;
-
sendfile 调用返回,导致由内核空间切换到用户空间;
-
DMA异步将内核socket cache中的数据传递到网卡;
-
在此,总共进行了2次用户态到内核态的上下文切换,2次DMA拷贝,1次CPU拷贝;
到linux2.4版本,操作系统提供scatter和gather的SG-DMA方式,直接从内核空间缓冲区中将数据读取到网卡,无需将内核空间缓冲区的数据再复制一份到socket缓冲区
-
发起sendfile时,导致由用户空间切换到内核空间;
-
直接通过DMA拷贝到page cache;
-
将page cache 中的描述符信息复制到socket缓冲区,
-
page cache 对应的内存地址;
-
page cache 的偏移量
-
sendfile返回,导致由内核空间切换到用户空间
-
SG-DMA根据描述符直接从page cache中将数据写入到网卡
-
在此,总共进行了2次上下文切换,2次DMA拷贝;
splice 实现
linux在2.6.17版本引入splice系统调用。sendfile只适用于将数据从文件拷贝到套接字上,使用场景固定。
#define _GNU_SOURCE /* See feature_test_macros(7) */
#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);
splice调用在两个文件描述符之间移动数据,而不需要数据在内核空间和用户空间来回拷贝。它从fd_in拷贝len长度的数据到fd_out,但是有一方必须是管道设备,这也是目前splice的一些局限性。flags参数有以下几种取值:
-
SPLICE_F_MOVE :尝试去移动数据而不是拷贝数据。这仅仅是对内核的一个小提示:如果内核不能从pipe移动数据或者pipe的缓存不是一个整页面,仍然需要拷贝数据。Linux最初的实现有些问题,所以从2.6.21开始这个选项不起作用,后面的Linux版本应该会实现。
-
SPLICE_F_NONBLOCK :splice 操作不会被阻塞。然而,如果文件描述符没有被设置为不可被阻塞方式的 I/O ,那么调用 splice 有可能仍然被阻塞。
-
SPLICE_F_MORE:后面的splice调用会有更多的数据。
-
发起splice时,导致由用户空间切换到内核空间;
-
直接通过DMA拷贝到page cache;
-
设置管道将page cache 和socket cache进行关联
-
splice返回,导致由内核空间切换到用户空间
-
DMA通过socket cache管道直接从page cache中将数据写入到网卡
-
在此,总共进行了2次上下文切换,2次DMA拷贝;
linux中零拷贝的对比
拷贝方式 | 系统调用 | cpu copy | DMA copy | 上下文切换 |
---|---|---|---|---|
标准 | read/write | 2 | 2 | 4 |
mmap | mmap/write | 1 | 2 | 4 |
sendfile | sendfile | 1 | 2 | 2 |
sendfile sg-dma | sendfile | 0 | 2 | 2 |
splice | splice | 0 | 2 | 2 |
零拷贝带来的好处
-
cpu参与度降低,可以释放出来做更多的事;
-
数据copy次数减少,系统IO降低;
-
用户应用程序可以通过底层命令直接访问硬件存储;
-
数据尽可能由硬件完成;
后续有空再来一篇java中的零拷贝
想了解更多,请关注公众号5ycode
以上是关于一文读懂零拷贝的主要内容,如果未能解决你的问题,请参考以下文章