python使用select和epoll实现IO多路复用实现并发服务器

Posted 070727sun

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python使用select和epoll实现IO多路复用实现并发服务器相关的知识,希望对你有一定的参考价值。

在select模块中, 有三种方法实现IO多路复用并发服务器

  • select
  • poll
  • epoll

select的原理: 在多路复用的模型中,比较常用的有select模型和epoll模型。这两个都是系统接口,由操作系统提供。当然,Python的select模块进行了更高级的封装。

网络通信被Unix系统抽象为文件的读写,通常是一个设备,由设备驱动程序提供,驱动可以知道自身的数据是否可用。支持阻塞操作的设备驱动通常会实现一组自身的等待队列,如读/写等待队列用于支持上层(用户层)所需的block或non-block操作。设备的文件的资源如果可用(可读或者可写)则会通知进程,反之则会让进程睡眠,等到数据到来可用的时候,再唤醒进程。

这些设备的文件描述符被放在一个数组中,然后select调用的时候遍历这个数组,如果对于的文件描述符可读则会返回改文件描述符。当遍历结束之后,如果仍然没有一个可用设备文件描述符,select让用户进程则会睡眠,直到等待资源可用的时候在唤醒,遍历之前那个监视的数组。每次遍历都是依次进行判断的。

例如使用select实现echo(回显)服务器

import select
import socket
import sys


server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind((‘‘, 7788))
server.listen(5)

inputs = [server, sys.stdin]

running = True

while True:

    # 调用 select 函数,阻塞等待
    readable, writeable, exceptional = select.select(inputs, [], [])

    # 数据抵达,循环
    for sock in readable:

        # 监听到有新的连接
        if sock == server:
            conn, addr = server.accept()
            # select 监听的socket
            inputs.append(conn)

        # 监听到键盘有输入
        elif sock == sys.stdin:
            cmd = sys.stdin.readline()
            running = False
            break

        # 有数据到达
        else:
            # 读取客户端连接发送的数据
            data = sock.recv(1024)
            if data:
                sock.send(data)
            else:
                # 移除select监听的socket
                inputs.remove(sock)
                sock.close()

    # 如果检测到用户输入敲击键盘,那么就退出
    if not running:
        break

server.close()

但是在底层原理中, select和epoll 都是使用轮询原理来实现的. epoll是触发通知机制

epoll的优点:

  • 没有最大并发连接的限制,能打开的FD(指的是文件描述符,通俗的理解就是套接字对应的数字编号)的上限远大于1024
  • 效率提升,不是轮询的方式,不会随着FD数目的增加效率下降。只有活跃可用的FD才会调用callback函数;即epoll最大的优点就在于它只管你“活跃”的连接,而跟连接总数无关,因此在实际的网络环境中,epoll的效率就会远远高于select和poll。
import socket
import select

# 创建套接字
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 可重复绑定
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

# 绑定本机地址端口
s.bind(("", 7788))

# 变为被动服务器
s.listen(1024)

# 创建一个epoll对象
epoll = select.epoll()

# 在epoll中注册s套接字(注意此处不是直接用是s, 而是使用s的fileno)
epoll.register(s.fileno(), select.EPOLLIN|select.EPOLLET)


# 创建两个字典, 来保存fileno和与其对应的套接字和地址
connections = 
addresses = 

# 开始等待客户端发送来的信息
while True:
    
    # 对epoll中的套接字进行扫描
    epollList = epoll.poll()

    # 对扫描到的事件进行判断
    for fd,events in epollList:
        
        # 如果判断是s套接字
        if fd == s.fileno():
            conn,addr = s.accept()

            print("有新的客户端到来...%s"%str(addr))
            connections[conn.fileno()] = conn
            addresses[conn.fileno()] = addr

            epoll.register(conn.fileno(), selecte.EPOLLIN|select.EPOLLET)

        # 如果是接收到了数据
        elif events == select.EPOLLIN:
            recvData = connections[fd].recv(1024)

            if len(recvData) > 0:
                print("recvData: %s"%recvData)

            else:
                epoll.unregister(fd)
                connections[fd].close()

                print("%s....offline....."%str(addresses[fd]))

 

 

引:https://www.jianshu.com/p/cdfddb026db0




以上是关于python使用select和epoll实现IO多路复用实现并发服务器的主要内容,如果未能解决你的问题,请参考以下文章

select及触发方式,select监听多链接,select与epoll的实现区别

python实现高并发

在写一次epoll

IO多路复用_selectors模块_python

Redis到底是多线程还是单线程?线程安全吗

python-- IO多路复用(selectpollepoll)介绍及实现