netty之linux零拷贝

Posted better_hui

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了netty之linux零拷贝相关的知识,希望对你有一定的参考价值。

一、DMA拷贝

Direct Memory Access , 直接内存访问,是一种无须cpu的参与就可以让外设与系统内存进行双向数据传输的硬件机制。

DMA拷贝使系统CPU从实际的IO数据传输中解脱出来,从而大大提高系统吞吐率。在数据传输期间,cpu可以并发的执行其他任务。

二、传统IO数据copy

传统的IO数据拷贝需要经历4次copy 和 3次状态切换

四次copy:

1、由硬件 经过DMA ——> 内核buffer

2、内核buffer ——> 用户buffer

3、用户buffer ——> socket buffer

4、socket buffer ——> protocol engine 协议栈

三次切换:

1、用户态 ——> 内核态 (用户上下文 ——> 内核上下文)

2、内核态 ——> 用户态

3、用户态 ——> 内核态

三、零拷贝

传统的IO数据传输,经历了4次数据拷贝,而在这里面从 内核缓冲区 到 用户缓冲区 , 再从用户穿冲区到 socket缓冲区,这个过程是没有必要的。零拷贝就是为了解决这个问题 ,零拷贝指的是零CPU拷贝 , DMA拷贝是无法避免的。

实现技术:

1、内存映射 mmap

2、sendFile

3.1、mmap 内存映射

并没有真实的改变传统的IO流程,只不过是使 内核buffer 和 用户buffer 共享了同一块内存,所以相对来讲减少了一次数据拷贝。

mmap通过内存映射,将文件映射到内核缓冲区,同时,用户空间可以共享内核空间的数据。这样就减少了一次数据copy。

三次数据copy:

1、由硬件 经过DMA ——> 内核buffer

2、内核buffer(用户buffer 共享了一块内存) ——> socket buffer

3、用户buffer ——> socket buffer

两次切换:

1、用户态 ——> 内核态 (用户上下文 ——> 内核上下文)

2、内核态 ——> 用户态

内存映射共经历了3次数据copy 和 2次状态切换。 并没有实现领copy , 只是减少了copy的次数

3.2、sendFile

从linux 内核2.4开始,对于网卡支持SG-DMA技术的情况下,sendFile()系统调用,过程如下:

1、通过DMA将数据拷贝至内核缓冲区

2、缓冲区描述符和数据穿度 copy到socket缓冲区,这个数据量很小,消耗比较低

3、网卡SG-DMA控制器 ,将内核缓冲区copy至 协议栈

四、netty的零拷贝

4.1、接收和发送byteBuffer ,使用直接内存进行socket读写,减少了直接内存到堆内存的数据copy

4.2、文件传输调用FileRegion包装的transferTo,直接将文件缓冲区数据发送到目标chuannel , 避免内存copy

4.3、提供了CompositeBytebuf , 将多个buff合并成一个逻辑上的buff

4.4、通过wrap操作将byte数组 、ByteBuf、ByteBuffer 转换为一个byteBuf对象 ,减少内存copy

ByteBuf byteBuf = Unpooled.wrappedBuffer(bytes);

byteBuf对象和 源bytes 共享一块内存,避免copy

4.5、支持slice操作,将一个byteBuf 分解为多个共享一个存储区域的byteBuf,避免内存copy

以上是关于netty之linux零拷贝的主要内容,如果未能解决你的问题,请参考以下文章

Netty—— 概念剖析(零拷贝)

Netty—— 概念剖析(零拷贝)

五.Netty入门到超神系列-零拷贝技术

#私藏项目实操分享#Netty技术专题「原理分析系列」Netty强大特性之ByteBuf零拷贝技术原理分析

JVM技术专题「原理专题」让我们一起探索一下Netty(Java)底层的“零拷贝Zero-Copy”技术(上)

六.Netty入门到超神系列-Java NIO零拷贝实战