Linux零拷贝原理

Posted 2021-08-24 cj_eryue

前言

大白话解释，零拷贝就是没有把数据从一个存储区域拷贝到另一个存储区域。但是没有数据的复制，怎么可能实现数据的传输呢？其实我们在java NIO、netty、kafka遇到的零拷贝，并不是不复制数据，而是减少不必要的数据拷贝次数，从而提升代码性能

• 零拷贝的好处
• 内核空间和用户空间
• 缓冲区和虚拟内存
• 传统的 I/O
• mmap+write 实现的零拷贝
• sendfile 实现的零拷贝
• 带有DMA收集拷贝功能的sendfile实现的零拷贝
• java提供的零拷贝方式

零拷贝的好处

• 减少或避免不必要的CPU数据拷贝，从而释放CPU去执行其他任务
• 零拷贝机制能减少用户空间和操作系统内核空间的上下文切换
• 减少内存的占用

内核空间和用户空间

• 内核空间：Linux自身使用的空间；主要提供进程调度、内存分配、连接硬件资源等功能
• 用户空间：提供给各个程序进程的空间；用户空间不具有访问内核空间资源的权限，如果应用程序需要使用到内核空间的资源，则需要通过系统调用来完成：从用户空间切换到内核空间，完成相关操作后再从内核空间切换回用户空间

缓冲区和虚拟内存

• 直接内存访问（Direct Memory Access）（DMA）
  • 直接内存访问：DMA允许外设设备和内存之间直接进行IO数据传输，其过程不需要CPU的参与 

• 缓存区 是所有I/O的基础，I/O 无非就是把数据移进或移出缓冲区
  • 进程发起read请求，内核先检查内核空间缓存区是否存在进程所需数据，如果已经存在，则直接copy数据到进程的内存区。如果没有，系统则向磁盘请求数据，通过DMA写入内核的read缓存区，接着再将内核缓存区数据copy到进程的内存区
  • 进程发起write请求，则是把进程的内存区数据copy到内核的write缓存区，然后再通过DMA把内核缓存区数据刷回磁盘或者网卡中
• 虚拟内存：现代操作系统都使用虚拟内存，有如下两个好处
  • 多个虚拟地址可以指向同一个物理内存地址
  • 虚拟内存空间可大于实际可用的物理地址
• 利用第一点特性可以把内核空间地址和用户空间的虚拟地址映射到同一个物理地址，这样DMA就可以填充(读写)对内核和用户空间进程同时可见的缓冲区了；大致如下

传统的 I/O

读取一个我磁盘文件，并发送到远程服务

• 1）发出read系统调用，会导致用户空间到内核空间的上下文切换，然后再通过DMA将文件中的数据从磁盘上读取到内核空间缓冲区
• 2）接着将内核空间缓冲区的数据拷贝到用户空间进程内存，然后read系统调用返回。而系统调用的返回又会导致一次内核空间到用户空间的上下文切换
• 3）write系统调用，则再次导致用户空间到内核空间的上下文切换，将用户空间的进程里的内存数据复制到内核空间的socket缓冲区（也是内核缓冲区，不过是给socket使用的），然后write系统调用返回，再次触发上下文切换
• 4）至于socket缓冲区到网卡的数据传输则是独立异步的过程，也就是说write系统调用的返回并不保证数据被传输到网卡

「一共有四次用户空间与内核空间的上下文切换，四次数据copy，分别是两次CPU数据复制，两次DMA数据复制」

mmap+write实现的零拷贝

1）发出mmap系统调用，导致用户空间到内核空间的上下文切换。然后通过DMA引擎将磁盘中的数据复制到内核缓冲区；

2）mmap系统调用返回，导致内核空间到用户空间的上下文切换；

3）这里不需要将数据从内核空间复制到用户空间，因为用户空间和内核空间共享了这个缓冲区；

4）发出wrote系统调用，导致用户空间到内核空间的上下文切换。将数据从内核空间缓冲区复制到内核空间socket缓冲区；write系统调用返回，导致内核空间到用户空间的上下文切换；

5）DMA引擎异步的将socket缓冲区的数据复制到网卡。

「通过mmap实现的零拷贝I/O进行了4次用户空间与内核空间的上下文切换，以及3次数据拷贝；其中3次数据拷贝中包括了2次DMA拷贝和1次CPU拷贝」

sendfile实现的零拷贝

sendfile()是作用于数据拷贝在两个文件描述符之间的操作函数.这个拷贝操作是内核中操作的,所以称为"零拷贝"。

1）发出sendfile系统调用后，导致用户空间到内核空间的上下文切换，然后通过DMA引擎将磁盘文件中的内容复制到内核空间缓冲区，接着再将数据从内核空间缓冲区复制到socket相关的缓冲区；

2）sendfile系统调用返回，导致内核空间到用户空间的上下文切换，DMA异步将内核空间socket缓冲区中的数据传递到网卡

「通过sendfile实现的零拷贝I/O使用了2次用户空间与内核空间的上下文切换，以及3次数据的拷贝，其中3次数据拷贝中包括了2次DMA拷贝和1次CPU拷贝」

带有DMA收集拷贝功能的sendfile实现的零拷贝

• 从Linux 2.4版本开始，操作系统提供scatter和gather的SG-DMA方式，直接从内核空间缓冲区中将数据读取到网卡，无需将内核空间缓冲区的数据再复制一份到socket缓冲区

• 1）发出sendfile系统调用，导致用户空间到内核空间的上下文切换。通过DMA引擎将磁盘文件中的内容复制到内核空间缓冲区
• 2）这里没把数据复制到socket缓冲区；取而代之的是，相应的描述符信息被复制到socket缓冲区。该描述符包含了两种的信息：A)内核缓冲区的内存地址、B)内核缓冲区的偏移量
• 3）sendfile系统调用返回，导致内核空间到用户空间的上下文切换。DMA根据socket缓冲区的描述符提供的地址和偏移量直接将内核缓冲区中的数据复制到网卡

「带有DMA收集拷贝功能的sendfile实现的I/O使用了2次用户空间与内核空间的上下文切换，以及2次数据的拷贝，而且这2次的数据拷贝都是非CPU拷贝。这样一来我们就实现了最理想的零拷贝I/O传输了，不需要任何一次的CPU拷贝，以及最少的上下文切换」

本文转自 https://zhuanlan.zhihu.com/p/268713849