Netty笔记2-Netty学习之NIO基础

Posted 吹灭读书灯 一身都是月

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Netty笔记2-Netty学习之NIO基础相关的知识，希望对你有一定的参考价值。

Netty学习之NIO基础

本博客是根据黑马程序员Netty实战学习时所做的笔记

可先参考博客 [Java NIO](https://nyimac.gitee.io/2020/11/30/Java NIO/)

non-blocking io：非阻塞IO

一、三大组件简介

Channel与Buffer

Java NIO系统的核心在于：通道(Channel)和缓冲区(Buffer)。

通道表示打开到 IO 设备(例如：文件、套接字)的连接。若需要使用 NIO 系统，需要获取用于连接 IO 设备的通道以及用于容纳数据的缓冲区。然后操作缓冲区，对数据进行处理

简而言之，通道负责传输，缓冲区负责存储

常见的Channel有以下四种，其中FileChannel主要用于文件传输，其余三种用于网络通信

  • FileChannel
  • DatagramChannel
  • SocketChannel
  • ServerSocketChannel

Buffer有以下几种，其中使用较多的是ByteBuffer

  • ByteBuffer
    • MappedByteBuffer
    • DirectByteBuffer
    • HeapByteBuffer
  • ShortBuffer
  • IntBuffer
  • LongBuffer
  • FloatBuffer
  • DoubleBuffer
  • CharBuffer

1.1 Selector

在使用Selector之前，处理socket连接还有以下两种方法

多线程版设计

为每个连接分别开辟一个线程，分别去处理对应的socket连接

⚠️这种方法存在以下几个问题【餐馆，服务员&客人】

  • 内存占用高
    • 每个线程都需要占用一定的内存，当连接较多时，会开辟大量线程，导致占用大量内存
  • 线程上下文切换成本高
  • 只适合连接数少的场景
    • 连接数过多，会导致创建很多线程，从而出现问题

线程池版设计

使用线程池，让线程池中的线程去处理连接

⚠️线程池版缺点

  • 阻塞模式下，线程仅能处理一个连接

    • 线程池中的线程获取任务（task）后，只有当其执行完任务之后（断开连接后），才会去获取并执行下一个任务
    • 若socke连接一直未断开，则其对应的线程无法处理其他socke连接

  • 仅适合短连接场景

    • 短连接即建立连接发送请求并响应后就立即断开，使得线程池中的线程可以快速处理其他连接

Selector版设计

selector 的作用就是配合一个线程来管理多个 channel（fileChannel因为是阻塞式的，所以无法使用selector），获取这些 channel 上发生的事件，这些 channel 工作在非阻塞模式下，当一个channel中没有执行任务时，可以去执行其他channel中的任务。适合连接数多，但流量较少的场景

若事件未就绪，调用 selector 的 select() 方法会阻塞线程，直到 channel 发生了就绪事件。这些事件就绪后，select 方法就会返回这些事件交给 thread 来处理

1.2 ByteBuffer

使用案例

使用方式

  • 向 buffer 写入数据，例如调用 channel.read(buffer)

  • 调用 flip() 切换至读模式

    • flip会使得buffer中的limit变为position，position变为0

  • 从 buffer 读取数据，例如调用 buffer.get()

  • 调用 clear() 或者compact()切换至写模式

    • 调用clear()方法时position=0，limit变为capacity
    • 调用compact()方法时，会将缓冲区中的未读数据压缩到缓冲区前面

  • 重复以上步骤

使用ByteBuffer读取文件中的内容

public class TestByteBuffer 
    public static void main(String[] args) 
        // 获得FileChannel
        try (FileChannel channel = new FileInputStream("stu.txt").getChannel()) 
            // 获得缓冲区
            ByteBuffer buffer = ByteBuffer.allocate(10);
            //从channel读取数据，向buffer写
            int hasNext = 0;
            StringBuilder builder = new StringBuilder();
            while((hasNext = channel.read(buffer)) > 0) //【“多次”从缓冲区读取】
                // 切换【读】模式 limit=position, position=0
                buffer.flip();
                // 当buffer中还有数据时，获取其中的数据
                while(buffer.hasRemaining()) 
                    builder.append((char)buffer.get());
                
                // 切换【写】模式 position=0, limit=capacity
                buffer.clear();
            
            System.out.println(builder.toString());
         catch (IOException e)

打印结果

0123456789abcdef

核心属性

字节缓冲区的父类Buffer中有几个核心属性，如下

// Invariants: mark <= position <= limit <= capacity
private int mark = -1;
private int position = 0;
private int limit;
private int capacity;   //读写指针
  • capacity：缓冲区的容量。通过构造函数赋予，一旦设置，无法更改
  • limit：缓冲区的界限。位于limit 后的数据不可读写。缓冲区的限制不能为负，并且不能大于其容量
  • position：下一个读写位置的索引（类似PC）。缓冲区的位置不能为负，并且不能大于limit
  • mark：记录当前position的值。position被改变后，可以通过调用reset() 方法恢复到mark的位置。

一开始

写模式下，position 是写入位置，limit 等于容量，下图表示写入了 4 个字节后的状态

flip 动作发生后，position 切换为读取位置，limit 切换为读取限制

读取 4 个字节后，状态

clear 动作发生后，状态

compact 方法，是把未读完的部分向前压缩，然后切换至写模式。d后面可以写

核心方法

rewind()方法

  • 该方法只能在读模式下使用
  • rewind()方法后，会恢复position、limit和capacity的值，变为进行get()前的值

clean()方法

  • clean()方法会将缓冲区中的各个属性恢复为最初的状态，position = 0, capacity = limit
  • 此时缓冲区的数据依然存在，处于“被遗忘”状态，下次进行写操作时会覆盖这些数据

mark()和reset()方法

mark 是在读取时，做一个标记，即使 position 改变，只要调用 reset 就能回到 mark 的位置

注意：rewind 和 flip 都会清除 mark 位置

compact()方法

  • compact会把未读完的数据向前压缩，然后切换到写模式
  • 数据前移后，原位置的值并未清零，写时会覆盖之前的值

clear() VS compact()

clear只是对position、limit、mark进行重置，而compact在对position进行设置，以及limit、mark进行重置的同时，还涉及到数据在内存中拷贝（会调用array）。**所以compact比clear更耗性能。**但compact能保存你未读取的数据，将新数据追加到为读取的数据之后；而clear则不行，若你调用了clear，则未读取的数据就无法再读取到了

所以需要根据情况来判断使用哪种方法进行模式切换

方法调用及演示

调用ByteBuffer的方法

public class TestByteBuffer 
    public static void main(String[] args) 
        ByteBuffer buffer = ByteBuffer.allocate(10);
        // 向buffer中写入1个字节的数据
        buffer.put((byte)97);
        // 使用工具类，查看buffer状态
        ByteBufferUtil.debugAll(buffer);

        // 向buffer中写入4个字节的数据
        buffer.put(new byte[]98, 99, 100, 101);
        ByteBufferUtil.debugAll(buffer);

        // 获取数据
        buffer.flip();
        ByteBufferUtil.debugAll(buffer);
        System.out.println(buffer.get());
        System.out.println(buffer.get());
        ByteBufferUtil.debugAll(buffer);

        // 使用compact切换模式
        buffer.compact();
        ByteBufferUtil.debugAll(buffer);

        // 再次写入
        buffer.put((byte)102);
        buffer.put((byte)103);
        ByteBufferUtil.debugAll(buffer);

运行结果

// 向缓冲区写入了一个字节的数据，此时postition为1
+--------+-------------------- all ------------------------+----------------+
position: [1], limit: [10]
         +-------------------------------------------------+
         |  0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f |
+--------+-------------------------------------------------+----------------+
|00000000| 61 00 00 00 00 00 00 00 00 00                   |a.........      |
+--------+-------------------------------------------------+----------------+

// 向缓冲区写入四个字节的数据，此时position为5
+--------+-------------------- all ------------------------+----------------+
position: [5], limit: [10]
         +-------------------------------------------------+
         |  0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f |
+--------+-------------------------------------------------+----------------+
|00000000| 61 62 63 64 65 00 00 00 00 00                   |abcde.....      |
+--------+-------------------------------------------------+----------------+

// 调用flip切换模式，此时position为0，表示从第0个数据开始读取
+--------+-------------------- all ------------------------+----------------+
position: [0], limit: [5]
         +-------------------------------------------------+
         |  0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f |
+--------+-------------------------------------------------+----------------+
|00000000| 61 62 63 64 65 00 00 00 00 00                   |abcde.....      |
+--------+-------------------------------------------------+----------------+
// 读取两个字节的数据             
97
98
            
// position变为2             
+--------+-------------------- all ------------------------+----------------+
position: [2], limit: [5]
         +-------------------------------------------------+
         |  0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f |
+--------+-------------------------------------------------+----------------+
|00000000| 61 62 63 64 65 00 00 00 00 00                   |abcde.....      |
+--------+-------------------------------------------------+----------------+
             
// 调用compact切换模式，此时position及其后面的数据被压缩到ByteBuffer前面去了
// 此时position为3，会覆盖之前的数据             
+--------+-------------------- all ------------------------+----------------+
position: [3], limit: [10]
         +-------------------------------------------------+
         |  0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f |
+--------+-------------------------------------------------+----------------+
|00000000| 63 64 65 64 65 00 00 00 00 00                   |cdede.....      |
+--------+-------------------------------------------------+----------------+
             
// 再次写入两个字节的数据，之前的 0x64 0x65 被覆盖         
+--------+-------------------- all ------------------------+----------------+
position: [5], limit: [10]
         +-------------------------------------------------+
         |  0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f |
+--------+-------------------------------------------------+----------------+
|00000000| 以上是关于Netty笔记2-Netty学习之NIO基础的主要内容，如果未能解决你的问题，请参考以下文章
 

 Netty入门学习


 Netty|01 入门学习


 从Netty到EPollSelectorImpl学习Java NIO


 Netty系列相关面试题汇总


 浅谈Netty相关概念


 这就是大名鼎鼎的Netty, HadoopDubbo都用了