epoll知识点总结

Posted 2023-05-15

参考技术A epoll是linux IO多路复用的管理机制，现在是linux平台高性能网络io必要的组件。

理解内核epoll的运行原理，需要从四方面来理解：

1.epoll的数据结构。2.epoll的线程安全。

3.epoll的内核回调。4.epoll的LT与ET。

主要两个结构体 eventpoll 与 epitem。

eventpoll是每一个epoll所对应的，epitem是每一个IO所对应的事件。

数据结构图下图所示

list用来存储准备就绪的IO，内核IO准备就绪的时候，会执行epoll_event_callback的回调函数，将epitem添加到list中；当epoll_wait激活重新运行的时候，将list的epitem逐一copy到events参数中。

rbtree用来存储所有的io数据，方便快速通过io_fd查找；epoll_ctl执行EPOLL_CTL_ADD操作时，将epitem添加到rbtree中；epoll_ctl执行EPOLL_CTL_DEL操作时，将epitem从retree中删除。

     以下几个包括list操作，rbtree操作，epoll_wait的等待需要加锁。

    list使用最小粒度的spinlock锁，避免多核竞争。

    rbtree的添加使用互斥锁，

    epoll_wait采用pthread_cond_wait;

1.tcp三次握手，对端反馈ack，socket进入rcvd状态，需要将监听的socket的event置为EPOLLIN，此时标识可以进入到accept读取socket数据。

2.established状态时，收到数据，将socket的event置为EPOLLIN状态。

3.established状态时 收到fin，socket进入close_Wait，需要将socket的event设置为EPOLLIN，读取断开信息

4 .   检测到socket的send状态，cwnd >0可以发送的数据，需要将socket置为EPOLLOUT。

LT（水平触发）：socket接收缓冲区不为空 有数据可读，读事件一直触发；socket发送缓冲区不满，可以继续写入数据，写事件一直触发。

ET（边缘触发）：socket接收缓冲区变化时触发读事件，空的接收缓冲区刚接收到数据时触发读事件；socket发送缓冲区状态发生变化时触发写事件，即满的缓冲区刚空出空间时触发读事件。

LT的处理过程：

    accept一个连接，添加到epoll中监听EPOLLIN事件。

    当EPOLLIN事件到达时，read fd中的数据并处理，

    当需要写出数据时，把数据write到fd中；如果数据较大，无法一次性写出，那么在epoll中监听EPOLLOUT事件。

    当EPOLLOUT事件到达时，继续把数据write到fd中 ；如果数据写出完毕，那么在epoll中关闭EPOLLOUT事件。

ET的处理过程：

    accept一个连接，添加到epoll中监听EPOLLIN|EPOLLOUT事件

    当EPOLLIN事件到达时，read fd中数据并处理，read需要一直读，直到返回EAGAIN为止

    当需要写出数据时，把数据write到fd中，直到数据全部写完或者write返回EAGAIN

    当EPOLLOUT事件到达时，继续把数据write到fd中，直到数据全部写完，或者write返回EAGAIN

accept要考虑两个问题：

阻塞模式accept存在的问题：TCP连接被客户端夭折，即服务器调用accept之前，客户端主动发送RST终止连接，导致刚刚建立的连接从就绪队列中移出，如果套接口被设置成阻塞模式，服务器就一直阻塞到accept调用上，直到其他某个客户建立一个新的连接为止。在此期间，服务器 单纯阻塞在accept调用上，就绪队列上其他描述符都得不到处理。解决办法是把监听的套接口设置成非阻塞的，客户端在在服务器端调用accept之前中止某个连接时，accept调用可以立即返回-1。

ET模式accept存在的问题：

    多个连接同时到达，，服务器TCP就行连接瞬间积累多个就绪连接，由于是边缘触发模式，epoll只会通知一次，accept只处理一个连接，导致TCP就绪队列中剩下的连接都得不到处理，解决办法是，while循环 中accpet调用，处理完accept就绪队列中所有连接后再退出循环。如何知道是否处理完所有连接，accept返回-1并且error设置为errno设置为EAGAIN便是所有连接都处理完。

LT 只要event为EPOLLIN时就能不断调用回调函数

ET 如果从EPOLLOUT变化为EPOLLIN时候，就会触发。    

Linux网络编程之epoll知识点备忘

首先是关于IO多路复用的基础概念：

select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。

关键要了解阻塞非阻塞、同步异步之间的关系与区别，然后对于常用的IO多路复用方法要有所了解。

epoll是Linux独有的IO多路复用技术，也是较新的方法，和传统的select/poll方法相比主要优势可以这样理解：

select的几大缺点：

（1）每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大

（2）同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大

（3）select支持的文件描述符数量太小了，默认是1024

poll和select基本相似，只不过交换的数据结构有所差别罢了。

epoll的特色：

epoll既然是对select和poll的改进，就应该能避免上述的三个缺点。epoll提供了三个函数，epoll_create,epoll_ctl和epoll_wait，epoll_create是创建一个epoll句柄；epoll_ctl是注册要监听的事件类型；epoll_wait则是等待事件的产生。

　　对于第一个缺点，epoll的解决方案在epoll_ctl函数中。每次注册新的事件到epoll句柄中时（在epoll_ctl中指定EPOLL_CTL_ADD），会把所有的fd拷贝进内核，而不是在epoll_wait的时候重复拷贝。epoll保证了每个fd在整个过程中只会拷贝一次。

　　对于第二个缺点，epoll的解决方案不像select或poll一样每次都把current轮流加入fd对应的设备等待队列中，而只在epoll_ctl时把current挂一遍（这一遍必不可少）并为每个fd指定一个回调函数，当设备就绪，唤醒等待队列上的等待者时，就会调用这个回调函数，而这个回调函数会把就绪的fd加入一个就绪链表）。epoll_wait的工作实际上就是在这个就绪链表中查看有没有就绪的fd（利用schedule_timeout()实现睡一会，判断一会的效果，和select实现中的第7步是类似的）。

　　对于第三个缺点，epoll没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

总结：

（1）select，poll实现需要自己不断轮询所有fd集合，直到设备就绪，期间可能要睡眠和唤醒多次交替。而epoll其实也需要调用epoll_wait不断轮询就绪链表，期间也可能多次睡眠和唤醒交替，但是它是设备就绪时，调用回调函数，把就绪fd放入就绪链表中，并唤醒在epoll_wait中进入睡眠的进程。虽然都要睡眠和交替，但是select和poll在“醒着”的时候要遍历整个fd集合，而epoll在“醒着”的时候只要判断一下就绪链表是否为空就行了，这节省了大量的CPU时间。这就是回调机制带来的性能提升。

（2）select，poll每次调用都要把fd集合从用户态往内核态拷贝一次，并且要把current往设备等待队列中挂一次，而epoll只要一次拷贝，而且把current往等待队列上挂也只挂一次（在epoll_wait的开始，注意这里的等待队列并不是设备等待队列，只是一个epoll内部定义的等待队列）。这也能节省不少的开销。

通过对于epoll进一步的了解，我个人觉得要理解epoll最关键的是需要了解以下几点：

1.和select等的比较。主要从效率，方法，监听数量等方面需要有一个比较全面的了解

2.关于epoll的三个函数需要了解用法

3.对于epoll_event这个数据结构需要有深刻了解，特别是其中的epoll_data数据，其中的union可以保存许多类型的用户数据，这为回调函数等提供了途径

最后摘抄一点代码用于提示epoll的基本使用方法：

 1 int main()
 2 {
 3 　　int i, maxi, listenfd, new_fd, sockfd,epfd,nfds;
 4 　　ssize_t n;
 5 　　char line[MAXLINE];
 6 　　socklen_t clilen;
 7 　　struct epoll_event ev,events[20];//ev用于注册事件,数组用于回传要处理的事件
 8 　　struct sockaddr_in clientaddr, serveraddr;
 9 　　listenfd = socket(AF_INET, SOCK_STREAM, 0);//生成socket文件描述符
10 　　setnonblocking(listenfd);//把socket设置为非阻塞方式
11 　　epfd=epoll_create(256);//生成用于处理accept的epoll专用的文件描述符
12 　　ev.data.fd=listenfd;//设置与要处理的事件相关的文件描述符
13 　　ev.events=EPOLLIN|EPOLLET;//设置要处理的事件类型
14 　　epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);//注册epoll事件
15     //设置服务器端地址信息
16 　　bzero(&serveraddr, sizeof(serveraddr));
17 　　serveraddr.sin_family = AF_INET;
18 　　char *local_addr= LOCAL_ADDR;
19 　　inet_aton(local_addr,&(serveraddr.sin_addr));
20 　　serveraddr.sin_port=htons(SERV_PORT);
21 　　bind(listenfd,(sockaddr *)&serveraddr, sizeof(serveraddr));//绑定socket连接
22 　　listen(listenfd, LISTENQ);//监听
23 　　maxi = 0;
24 　　for ( ; ; )
25       {
26          /* epoll_wait：等待epoll事件的发生，并将发生的sokct fd和事件类型放入到events数组中；
27           * nfds：为发生的事件的个数。
28           * 注：
29          */
30 　　    nfds=epoll_wait(epfd,events,20,500);
31 　　    //处理所发生的所有事件
32 　　    for(i=0;i<nfds;++i)
33 　　    {
34 　　        if(events[i].data.fd==listenfd)//事件发生在listenfd上
35 　　        {
36                /* 获取发生事件端口信息，存于clientaddr中；
37                *new_fd：返回的新的socket描述符，用它来对该事件进行recv/send操作*/
38 　　            new_fd = accept(listenfd,(struct sockaddr *)&clientaddr, &clilen);
39 　　            if(new_fd<0)
40                    {
41 　　                perror("new_fd<0");
42 　　                exit(1);
43 　　            }
44 　　            setnonblocking(new_fd);
45 　　            char *str = inet_ntoa(clientaddr.sin_addr);
46 　　            ev.data.fd=new_fd;//设置用于读操作的文件描述符
47 　　            ev.events=EPOLLIN|EPOLLET;//设置用于注测的读操作事件
48 　　            epoll_ctl(epfd,,,&ev);//注册ev
49 　　        }
50 　　        else if(events[i].events&EPOLLIN)
51 　　        {
52 　　            if ( (sockfd = events[i].data.fd) < 0)
53                        continue;
54 　　            if ( (n = read(sockfd, line, MAXLINE)) < 0)
55                    {
56 　　                if (errno == ECONNRESET)
57                       {
58 　　                    close(sockfd);
59 　　                    events[i].data.fd = -1;
60 　　                }
61                       else
62 　　                    std::cout<<"readline error"<<std::endl;
63 　　            }
64                   else if (n == 0)
65                   {
66 　　                close(sockfd);
67 　　                events[i].data.fd = -1;
68 　　           }
69 　　           ev.data.fd=sockfd;//设置用于写操作的文件描述符
70 　　           ev.events=EPOLLOUT|EPOLLET;//设置用于注测的写操作事件
71 　　           epoll_ctl(epfd,,sockfd,&ev);//修改sockfd上要处理的事件为EPOLLOUT
72 　　      }
73 　　     else if(events[i].events&EPOLLOUT)
74 　　     {
75 　　         sockfd = events[i].data.fd;
76 　　          write(sockfd, line, n);
77 　　          ev.data.fd=sockfd;//设置用于读操作的文件描述符
78 　　          ev.events=EPOLLIN|EPOLLET;//设置用于注测的读操作事件
79 　　          epoll_ctl(epfd,,sockfd,&ev);//修改sockfd上要处理的事件为EPOLIN
80 　　     }
81 　　 }
82 　}
83 }

 

参考：http://blog.51cto.com/7666425/1261446

　　    http://www.cnblogs.com/Anker/p/3265058.html