RocketMq中零拷贝

Posted 2023-03-25

参考技术A

    说起零拷贝之前，先来了解下服务器中文件数据通过网络传输到客户端的流程。作为应用服务器，其中会有很多从磁盘中读取数据，然后应用程序对加载到内存中的数据进行处理，然后通过网卡发送给客户端，传统数据处理通过以下两个函数实现：

    在这个过程中，数据流转的大致过程如下：

     可以见到，在这个过程中发生了2次cpu copy和2次DMA copy，以及发生了数次cpu状态切换。 这个操作对于应用服务器来说很频繁，因此带来的开销也是非常大。
因此所谓的零拷贝就是，让其中的2次cpu拷贝省略掉，因为这两次cpu拷贝的数据其实已经在内存中，没有必要再让cpu参与进来进行数据的拷贝，浪费cpu。在大量文件读写的时候，这个优化带来的收益还是比较可观的。

零拷贝的实现方式有两种：

    mmap通过虚拟内存映射，让多个虚拟地址指向同一个物理内存地址，用户空间的虚拟地址和内核空间的虚拟地址指向同一个物理内存地址，这样用户空间和内核空间共享同一个内存数据。这样DMA引擎从磁盘上加载的数据不需要在内核空间和用户空间进行复制，减少了一次cpu拷贝。
    sendfile通过系统调用，并且规定了in_fd文件描述符必须是可以mmap的，sendfile只能将文件数据发送到socket中，sendfile减少了一次cpu状态的切换

    无论是mmap结合write方式还是sendfile方式都只是减少了一次cpu拷贝，而后DMA引擎还具有了收集功能，可以在内核缓存区发送到socket缓冲区的时候避免掉cpu复制，只是将缓冲区地址和数据长度发送给socket缓冲区，然后DMA引擎通过收集功能直接读取收集数据发送到网卡中。这里依赖DMA引擎的收集功能省略掉了最后一次cpu拷贝，到此才是真正的零拷贝。

     所谓的零拷贝就是避免数据在内核空间缓存区和用户空间缓缓冲区之间的复制，避免掉2次cpu复制，释放cpu。

    在RocketMq中采用的是mmap()结合write()方式来实现零拷贝。

    在java中还可以通过FileChannel.transferTo()来实现数据从文件描述符传输到socket中，它的底层是通过sendfile系统调用来实现。

rocketMQ rocketMQ 高性能分析之ZeroCopy零拷贝技术

高效原因

1. CommitLog顺序写, 存储了MessagBody、message key、tag等信息
2. ConsumeQueue随机读 + 操作系统的PageCache + 零拷贝技术ZeroCopy
   2.1 零拷贝技术

read(file, tmp_buf, len);
write(socket, tmp_buf, len);

例子：将一个File读取并发送出去（Linux有两个上下文，内核态，用户态）

1. File文件的经历了4次copy

1. 调用read,将文件拷贝到了kernel内核态
2. CPU控制 kernel态的数据copy到用户态
3. 调用write时，user态下的内容会copy到内核态的socket的buffer中
4. 最后将内核态socket buffer的数据copy到网卡设备中传送

2. 缺点：增加了上下文切换、浪费了2次无效拷贝(即步骤2和3)

2.2 ZeroCopy

请求kernel直接把disk的data传输给socket，而不是通过应用程序传输。Zero copy大大提高了应用程序的性能，减少不必要的内核缓冲区跟用户缓冲区间的拷贝，从而减少CPU的开销和减少了kernel和user模式的上下文切换，达到性能的提升
对应零拷贝技术有mmap及sendfile
2.2.1 mmap:小文件传输快
RocketMQ 选择这种方式，mmap+write 方式，小块数据传输，效果会比 sendfile 更好
2.2.2 sendfile:大文件传输比mmap快

2.3 Java中的TransferTo()实现了Zero-Copy
2.4 应用：Kafka、Netty、RocketMQ等都采用了零拷贝技术