多路转接之epoll服务器

Posted 巴山雨夜

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了多路转接之epoll服务器相关的知识,希望对你有一定的参考价值。

1、epoll服务器的设计原理

epoll服务器实现的仍然是多路转接,所以实现当然也是 可以等待多个文件描述符了。 但是,epoll服务器相对于poll服务器与select有了很大程度上的改变,优化了它的性能。(它的优点之后我们在来详细说说吧!)

1.1、epoll服务器的底层实现

大家下来先看看这幅图:

1.2、epoll模型的底层实现接口

【epoll_create】

       #include <sys/epoll.h>

       int epoll_create(int size);创建epoll模型返回模型的句柄(也就是模型的标识符)
size参数是被忽略的;

【epoll_ctl】

       #include <sys/epoll.h>

       int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);//epoll的事件注册函数
函数描述就是对 epfd这个epoll模型中的 fd文件描述符执行 op操作,操作时间为 event 第一个参数是epoll_create()的返回值。
第二个参数表示动作,用三个宏来表示:

EPOLL_CTL_ADD:

注册新的fd到epfd中;

EPOLL_CTL_MOD:

修改已经注册的fd的监听事件;

EPOLL_CTL_DEL:

从epfd中删除一个fd;

第三个参数是需要监听的fd。
第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:
           typedef union epoll_data 
               void        *ptr;
               int          fd;
               __uint32_t   u32;
               __uint64_t   u64;
            epoll_data_t;
           struct epoll_event 
               __uint32_t   events;      /* Epoll events */
               epoll_data_t data;        /* User data variable */
           ;
events可以是以下几个宏的集合:

EPOLLIN

表示对应的文件描述符可以读(包括对端SOCKET正常关闭)

EPOLLOUT

表示对应的文件描述符可以写

EPOLLPRI

表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来)

EPOLLERR

表示对应的文件描述符发生错误

EPOLLHUP

表示对应的文件描述符被挂断

EPOLLET

将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(LevelTriggered)来说的。

EPOLLONESHOT

只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里

【epoll_wait】

       #include <sys/epoll.h>

       int epoll_wait(int epfd, struct epoll_event *events,
                      int maxevents, int timeout);
epoll模型等待,收集在epoll监控的事件中已经发送的事件。
参数events是分配好的epoll_event结构体数组,epoll将会把发⽣生的事件赋值到events数组中(events不可以是空指针,内核只负责把数据复
制到这个events数组中,不会去帮助我们在用户态中分配内存)。maxevents告之内核这个events有多大,这个 maxevents的值不能大于创建epoll_create()时的size,参数timeout是超时时间(毫秒,0会立即返回,-1将不确定,也有说法说是永久阻塞)。如果函数调用成功,返回对应I/O上已准备好的文件描述符数目,如返回0表示已超时。

1.3、epoll服务器的设计优点

相对于select服务器来说的话,epoll服务器下有下列的优点: ① 底层采用的是红黑树来存储需要等待的I/O事件,没有上限的限制。查询时间复杂度相对要优化很多。 ② epoll采用基于事件的就绪通知方式,epoll事先通过epoll_ctl()来注册一个文件描述符,一旦基于某个文件描述符就绪时,内核会采用类似callback的回调机制,迅速激活这个文件描述符,并将此结点放到就绪队列中,当进程调用epoll_wait()时便得到通知。 ③ epoll的返回值,返回的就是已就绪的I/O事件,不需要想select和poll那样循环来查找,哪些事件就绪。事件复杂度为O(1); ④ 使用了内存映射(mmap)技术,这样便彻底省掉了这些文件描述符在系统调用时复制的开销。

2、实现epoll服务器

Epoll的2种工作方式-水平触发(LT)和边缘触发(ET)
水平触发【LT】:epoll缺省的工作方式,并且同时支持block和no-block socket.在这种做法中,内核告诉你一个文件描述符是否就绪了,然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作,内核还是会继续通知你 的,所以,这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表. 边缘触发【ET】:是高速工作方式,只支持no-block socket,它效率要比LT更高。ET与LT的区别在于,当一个新的事件到来时,ET模式下当然可以从epoll_wait调用中获取到这个事件,可是如果这次没有把这个事件对应的套接字缓冲区处理完,在这个套接字中没有新的事件。 再次到来时,在ET模式下是无法再次从epoll_wait调用中获取这个事件的。 简单来说,在LT模式下,文件描述符就绪之后,你要是没有处理的话,内核会一直通知你。 在ET模式下,只要有文件描述符事件就绪之后。内核通知一次,不管有没有处理这个事件。

2.1、实现LT模式下的epoll服务器


#include<stdio.h>
#include<stdlib.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<arpa/inet.h>
#include<string.h>
#include<netinet/in.h>
#include<sys/epoll.h>
#include<poll.h>
static  void  Usage( const char  *proc)

	printf("Usage: %s  [ip_addr] [port]\\n"),proc;

//创建listen服务器
int startup(const  char  *  ip,int port)

	//创建套接字
	int sock = socket(AF_INET,SOCK_STREAM,0);
	if(sock <0)
	
		perror("socket");
		exit(5);
	
	const int opt = 1;
	//设置 绑定方式为  可重复使用地址端口
	setsockopt(sock,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt));
	struct  sockaddr_in  local;
	local.sin_family= AF_INET;
	local.sin_port = htons(port);
	local.sin_addr.s_addr = inet_addr(ip);
	//绑定 本地服务器
	if(bind(sock,(struct sockaddr*)&local,sizeof(local))< 0)
	
		perror("bind");
		exit(6);
	
	//设置为监听
	if(listen(sock,10)< 0)
	
		perror("listen");
		exit(7);
	
	return sock;



int main(int argc ,char *argv[])

	if(argc != 3)	
	
		Usage(argv[0]);
		return 1;
	
	int listen_sock  = startup(argv[1],atoi(argv[2]));
	//建立epoll模型
	int epollfd  =epoll_create(256);
	//对epoll模型进行管理
	struct  epoll_event event;
	event.events = EPOLLIN;
	event.data.fd =  listen_sock;
	epoll_ctl(epollfd,EPOLL_CTL_ADD,listen_sock,&event);
	//设置每次最大读取64个文件描述符
	int maxsize = 64;
	int timeout = -1;//-1  block
	char buf[1024];
	while(1)
	
		int n = 0 ;
		struct epoll_event ev[maxsize];
		switch(n = epoll_wait(epollfd,ev,maxsize,timeout))
		
			case 0:
				printf("timeout ..\\n");
				break;
			case -1:
				perror("epoll");
				break;
			default:
			
				//at  least one ev  ready;
				int i = 0 ;
				for(;i < n;++i)
				
					int fd  = ev[i].data.fd;
					if(fd == listen_sock&&ev[i].events&EPOLLIN)
					
						struct sockaddr_in addr;
						socklen_t  len =sizeof(addr);
						int client_sock  =accept(listen_sock,\\
											(struct sockaddr*)&addr,\\
											&len);
						if(client_sock < 0 )
						
							perror("accept");
							continue;
						
						printf("get a connect:[%s ,%d]\\n",inet_ntoa(addr.sin_addr),ntohs(addr.sin_port));
						event.events = EPOLLIN;
						event.data.fd = client_sock;
						epoll_ctl(epollfd,EPOLL_CTL_ADD,client_sock,&event);
					
					else if(fd != listen_sock)
					
						//表示的是 读事件就绪
						if(ev[i].events & EPOLLIN)
						
							//read ev  ready;
							ssize_t  s =read(fd,buf,sizeof(buf)-1);
							if(s< 0)
							
								perror("read");
								return 3;
							
							else if(s == 0)
							
								printf("client quit\\n");	
								epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);
								close(fd);
							
							else
							
								buf[s] =0 ;
								event.events = EPOLLOUT;
								event.data.fd = fd;
								epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);
								printf("client#:%s\\n",buf);
							
						
						//表示的是写事件就绪 下面实现的是
						if(ev[i].events&EPOLLOUT)
						
							//write ev ready;
							const  char  * msg = "HTTP/1.0 200 OK\\r\\n\\r\\n<html><h1>Hello Epoll!</h1></html>";
							write(fd,msg,strlen(msg));
							event.events = EPOLLIN;
							event.data.fd = fd;
							epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);
						//	printf("server#:");
						//	fflush(stdout);
						//	ssize_t  s = read(0,buf,sizeof(buf)-1);
						//	if(s <=0)
						//	
						//		perror("read");
						//		close(fd);
						//		epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);
						//		return  4;
						//	
						//	else
						//	
						//		buf[s-1] =0 ;
						//		write(fd,buf,strlen(buf));
						//		event.events = EPOLLIN;
						//		event.data.fd =fd;
						//		epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);
						//	
						
					
				

			
				break;
		
		

	

	return  0;

2.2、实现ET模式下的epoll服务器

ET模式下需要注意的地方: 一、ET模式下的文件描述符需要设置为是非阻塞的方式。 二、ET模式下每次调用read时,要把数据一次性读完,否则会造成数据丢失。 三、ET模式下每次调用到write时,一次性把数据写完。 实现代码:
#include<stdio.h>
#include<stdlib.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<arpa/inet.h>
#include<string.h>
#include<netinet/in.h>
#include<sys/epoll.h>
#include<poll.h>
#include<fcntl.h>
#include<unistd.h>
#include<errno.h>

#define SIZE 10240
typedef struct epoll_buf

	int fd;
	char  buf[SIZE];
epoll_buf_t, *epoll_buf_p;
//设置文件描述符为非阻塞
void set_nonblock(int fd)

	int fl= fcntl(fd,F_GETFL);
	if(fl < 0)
	
		perror("fcntl");
		exit(4);
	
	if(fcntl(fd,F_SETFL,fl|O_NONBLOCK))
	
		perror("fcntl  set no block  err");
		exit(4);
	

static void * alloc_buf(int fd)//为每一个文件描述符开辟空间

	epoll_buf_p tmp = (epoll_buf_p)malloc(sizeof(epoll_buf_t));
	if(tmp == NULL)
	
		perror("malloc");
		exit(3);
	
	tmp->fd = fd;
	return tmp;

//自己实现的read函数,一次要读完
ssize_t myread(int fd,char  *buf)

	ssize_t  len = 0 ;
	ssize_t  total = 0 ;
	//错误码为EAGAIN表示读写事件没有就绪 设置为
	while((len  = read(fd,buf+total,1024))&&\\
			(len == 1024)&&\\
			errno !=EAGAIN)
	
		total += len;
	
	if(len < 0&&errno== EAGAIN)
	
		perror("read");
		return -1;
	
	if(len  >= 0&&len < 1024)
	
		total += len;
		
	return total;

//自己实现的write函数  一次写完
ssize_t mywrite(int fd ,char *buf,int len)

	//nwr 表示的是当前写的数据个数
	//pos表示的是当前写到的位置 
	//n表示的是还需要读到的数据
	ssize_t  pos = 0 ;
	ssize_t  nwr = 0 ; 
	ssize_t  n = len ;
	//此循环表示的是还在 写进去的数据不是空 并且还没有写完 ,读写的事件为就绪
	while((nwr = write(fd,buf+pos,n))&&\\
			errno != EAGAIN &&\\
			nwr <  n)
	
		n -= nwr;
		pos += nwr;
	
	//表示的是正好读完了
	if(n ==nwr )
	
		pos = n;
	
	//表示出现错误
	if(nwr < 0 && errno == EAGAIN ) 
	
		perror("write");
		return -1;
	
	return pos;

//自己实现一个accept函数   一次接受完
//listen_sock表示监听套接字,epollfd表示的是epoll模型
void  myaccept(int listen_sock,int  epoll_fd)

	struct sockaddr_in addr;
	socklen_t  len =sizeof(addr);
	int client_sock = 0 ;
	//一次将所有的连接都读到 所有的连接
	while((client_sock =accept(listen_sock,\\
						(struct sockaddr*)&addr,\\
						&len)) > 0
		 )
		
		printf("get  a connect :[%s,%d]\\n",inet_ntoa(addr.sin_addr),ntohs(addr.sin_port));
		struct epoll_event event;
		//将所有链接成功的连接   都添加到epoll模型  设置为ET模式
		event.events = EPOLLIN|EPOLLET;
		//设置文件描述符为   非阻塞
		set_nonblock(client_sock);
		//为该文件描述符自己开辟缓冲区
		event.data.ptr = alloc_buf(client_sock);
		epoll_ctl(epoll_fd,EPOLL_CTL_ADD,client_sock,&event);
	



//创建listen服务器
int startup(const  char  *  ip,int port)

	//创建套接字
	int sock = socket(AF_INET,SOCK_STREAM,0);
	if(sock <0)
	
		perror("socket");
		exit(5);
	
	//设置连接为  可重复使用端口地址 SO_REUSEADDR
	const int opt = 1;
	setsockopt(sock,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt));
	struct  sockaddr_in  local;
	local.sin_family= AF_INET;
	local.sin_port = htons(port);
	local.sin_addr.s_addr = inet_addr(ip);
	//绑定 本地服务器
	if(bind(sock,(struct sockaddr*)&local,sizeof(local))< 0)
	
		perror("bind");
		exit(6);
	
	//设置为监听
	if(listen(sock,10)< 0)
	
		perror("listen");
		exit(7);
	
	return sock;



static  void  Usage( const char  *proc)

	printf("Usage: %s  [ip_addr] [port]\\n",proc);



int main(int argc ,char *argv[])

	if(argc != 3)	
	
		Usage(argv[0]);
		return 8;
	
	int listen_sock  = startup(argv[1],atoi(argv[2]));
	//建立epoll模型
	int epollfd  =epoll_create(256);
	//对epoll模型进行管理
	struct  epoll_event event;
	set_nonblock(listen_sock);
	event.events = EPOLLIN|EPOLLET;
	event.data.ptr = alloc_buf(listen_sock);
	epoll_ctl(epollfd,EPOLL_CTL_ADD,listen_sock,&event);
	int maxsize = 64;
	int timeout = -1;
	char buf[1024];
	while(1)
	
		int n = 0 ;
		struct epoll_event ev[maxsize];
		switch(n = epoll_wait(epollfd,ev,maxsize,timeout))
		
			case 0:
				printf("timeout ..\\n");
				break;
			case -1:
				perror("epoll");
				break;
			default:
			
				//at  least one ev  ready;
				int i = 0 ;
				for(;i < n;++i)
				
					epoll_buf_p ptr =(epoll_buf_p)ev[i].data.ptr;
					int fd = ptr->fd;
					//表示的是监听套接字
					if(fd == listen_sock&&ev[i].events&EPOLLIN)
						
						myaccept(listen_sock,epollfd);
					
					else if(fd != listen_sock)
					
						//表示的是 读事件就绪
						char * buf = ptr->buf;
						if(ev[i].events & EPOLLIN)
						
							//read ev  ready;
							ssize_t  s =myread(fd,buf);
							if(s < 0 )
							
								perror("read");
								free(ev[i].data.ptr);
								epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);
								close(fd);
								return 1;
							
							else if(s == 0)
							
								printf("client quit\\n");	
								//释放动态开辟的空间
								free(ev[i].data.ptr);
								epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);
								close(fd);
							
							else
							
								buf[s] =0;
								event.data.ptr = ptr;
								event.events = EPOLLOUT|EPOLLET;
								epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);
								printf("client#:%s\\n",buf);
							
						
						//表示的是写事件就绪
						if(ev[i].events&EPOLLOUT)
						
							//write ev ready;						
							const  char  * msg = "HTTP/1.0 200 OK\\r\\n\\r\\n<html><h1>Hello Epoll!</h1></html>";
							ssize_t s = write(fd,msg,strlen(msg));
							if(s < 0)
							
								free(ev[i].data.ptr);
								epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);
								close(fd);
								return 2;
							
							event.events = EPOLLIN;
							event.data.ptr = ptr;
							epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);
						//	printf("server#:");
						//	printf("server#:");
						//	fflush(stdout);
						//	ssize_t  s = myread(0,buf);
						//	if(s <=0)
						//	
						//		perror("read");
						//		close(fd);
						//		free(ev[i].data.ptr);
						//		epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);
						//		return  1;
						//	
						//	else
						//	
						//		buf[s-1] =0 ;
						//		mywrite(fd,buf,s-1);
						//		event.events = EPOLLIN|EPOLLET;
						//		event.data.ptr=  ptr;
						//		epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);
						//	
						
					
				
			
			break;
		
	
	return  0;



以上是关于多路转接之epoll服务器的主要内容,如果未能解决你的问题,请参考以下文章

多路转接之epoll服务器

Linux & IO多路转接——epoll详解

Linux & IO多路转接——epoll详解

epoll(eventpoll)是干嘛的?IO多路转接技术(相较selectpoll的优点)

多路转接reactor epoll ET 简单的英译汉服务

I/O多路转接-epoll