IO多路复用
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了IO多路复用相关的知识,希望对你有一定的参考价值。
参考技术A 阻塞IO只能阻塞一个IO操作,IO复用模型能阻塞多个IO操作,所以才叫多路复用
读数据 :
直到数据全拷贝至User Space后才返回
不断去Kernel做Polling,询问比如读操作是否完成,没完成则read()操作会返回EWOUDBLOCK,需要过一会再尝试执行一次read()。该模式会消耗大量CPU
之前等待时间主要消耗在等数据到达上。IO Multiplexing则是将等待数据到来和读取实际数据两个事情分开,好处是通过select()等IO Multiplexing的接口一次可以等待在多个Socket上。select()返回后,处于Ready状态的Socket执行读操作时候也会阻塞,只是只阻塞将数据从Kernel拷贝到User的时间
首先注册处理函数到SIGIO信号上,在等待数据到来过程结束后,系统触发SGIO信号,之后可以在信号处理函数中执行读数据操作,再唤醒Main Thread或直接唤醒Main Thread让它完成数据读取。整个过程没有一次阻塞。
问题:TCP下,连接断开/可读/可写等都会产生Signal,并且Signal没有提供好的方法去区分这些Signal到底为什么被触发
AIO是注册一个读任务,直到读任务完全完成后才会通知应用层。AIO是由内核通知IO操作什么时候完成,信号驱动IO是由内核告知何时启动IO操作
也存在挺多问题,比如如何去cancel一个读任务
除了AIO是异步IO,其他全是同步IO
fd_set: 一个long类型的数组,每一位可以表示一个文件描述符
问题 :
返回条件与select一样。
fds还是关注的描述符列表。poll将events和reevents分开了,所以如果关注的events没有发生变化就可以重用fds,poll只修改rents不会动events。fds是个数组,不是fds_set,没有了上限。
相对于select,poll解决了fds长度上限问题,解决了监听描述符无法复用问题,但仍需在poll返回后遍历fds去找ready的描述符,也要清理ready描述符对应的revents,Kernel也同样是每次poll调用需要去遍历fds注册监听,poll返回时拆除监听,也仍有惊群问题,无法动态修改描述符的问题。
使用步骤:
优点 :
缺点 :
changelist用于传递关心的event
nchanges用于传递changelist的大小
eventlist用于当有事件产生后,将产生的事件放在这里
nevents用于传递eventlist大小
timeout 超时时间
kqueue高级的地方在于,它监听的不一定非要是Socket,不一定非要是文件,可以是一系列事件,所以struct kevent内参数叫filter,用于过滤出关心的事件。
kqueue有epoll所有优点,还能通过changelist一次注册多个关心的event,不需要像epoll那样每次调用epoll_ctl去配置
当我们执行epoll_ctl时,除了把socket放到epoll文件系统里file对象对应的红黑树上之外,还会给内核中断处理程序注册一个回调函数,告诉内核,如果这个句柄的中断到了,就把它放到准备就绪list链表里。所以,当一个socket上有数据到了,内核在把网卡上的数据copy到内核中后就来把socket插入到准备就绪链表里。
如此,一棵红黑树,一张准备就绪句柄链表,少量的内核cache,就帮我们解决了大并发下的socket处理问题。执行epoll_create时,创建了红黑树和就绪链表,执行epoll_ctl时,如果增加socket句柄,则检查在红黑树中是否存在,存在立即返回,不存在则添加到树干上,然后向内核注册回调函数,用于当中断事件来临时向准备就绪链表中插入数据。执行epoll_wait时立刻返回准备就绪链表里的数据即可。
Epoll有两种触发模式,一种Edge Trigger简称ET,一种Level Trigger简称LT。每个使用epoll_ctl注册在epoll描述符上的被监听的描述符都能单独配置自己的触发模式。
从使用角度的区别:ET模式下当一个文件描述符Ready后,需要以Non-Blocking方式一直操作这个FD直到操作返回EAGAIN错误位置,期间Ready这个事件只会触发epoll_wait一次返回。LT模式,如果FD上的事件一直处在Ready状态没处理完,则每次调用epoll_wait都会立即返回
场景:
Java的NIO提供了Selector类,用于跨平台的实现Socket Polling,即IO多路复用。BSD系统上对应的是Kqueue,Window上对应的是Select,Linux上对应的是LT的Epoll(为了跨平台统一,Windows上背后是Select,是LT的)
Selector的使用:
第五十五节,IO多路复用
IO多路复用,lo就是文件或数据的输入输出,IO多路复用就是可以多用户操作
IO多路复用,可以监听多个文件描述符(socke对象)(文件句柄),一旦文件句柄出现变化,即可感知到,感知到后作出相应操作
比如原生socke模块只能监听一个端口和只能一个用户连接,要想实现监听多个端口和支持多用户,就会使用IO多路复用
以上是关于IO多路复用的主要内容,如果未能解决你的问题,请参考以下文章
IO多路复用/基于IO多路复用+socket实现并发请求/协程