python-- socketserver

Posted 2020-10-05

socketserver

SocketServer服务端内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求。即：每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进 程” 专门负责处理当前客户端的所有请求。

 

一、socketserver类型

1、TCPServer

 这个是用于TCP协议的，它在客户端和服务器之间提供连续的数据流

class socketserver.TCPServer(server_address, RequestHandlerClass, bind_and_activate=True)

2、UDPServer

用于UDP协议的，并非连续的数据包，中间传输可能会丢失。传入的参数和TCPServer是一样的

class socketserver.UDPServer(server_address, RequestHandlerClass, bind_and_activate=True)

3、UnixStreamServer和UnixDatagramServer

这个很少用在TCP和UDP类中，但是会使用在Unix领域里的sockets；传入的参数和TCPServer是一样的。

class socketserver.UnixStreamServer(server_address, RequestHandlerClass, bind_and_activate=True)
class socketserver.UnixDatagramServer(server_address, RequestHandlerClass,bind_and_activate=True)

 4、socketserver几种类型实例关系图：

 

二、创建socketserver步骤（:这里以TCPServer为例）

1. 必须创建一个请求处理类，并且这个类要继承BaseRequestHandlerclass，并且还要重写父类里的handle()
2. 必须实例化TCPServer，并且传递server ip和你在第一步创建的请求处理类给这个TCPServer
3. 接下来调server.handle_request()(只处理一个请求)或者server.serve_forever()(处理多个客户端请求，永远执行)
4. 调用server_close()去关闭socket

服务端代码实现：

注：

    1、导入模块的时候 3.x版本是socketserver 2.x版本是SocketServer

    2、客户端所有的交互都是在handler里面完成的，每一个请求过来之后，它的请求就会被分配，它的请求的处理规则就是handle里面规定的。服务器收到客户端的数据为空，表明客户端已经断开。

import socketserver


class MyServer(socketserver.BaseRequestHandler):   # 继承BaseRequestHandler这个基类
    # 重写handle
    def handle(self):
            while True:
                try:
                    self.data = self.request.recv(1024)  # 服务端接受数据
                    print("{0} write:".format(self.client_address[0]))  # 打印客户端地址
                    print(self.data.decode())
                    self.request.send(self.data.upper())  # 将客户端接收到数据大写后再发送回去
                except ConnectionResetError as e:   # 抓去异常，这个异常当客户端断开服务端出现断开，这个只有在python3.0才会有
                    print("error:", e)
                    break

if __name__ == "__main__":
    HOST, PORT = "localhost", 9999
    server = socketserver.TCPServer((HOST, PORT), MyServer)  # 每起一个TCPServer都会实例化MyServer这个类
    server.serve_forever()  # 实现多个链接
    server.server_close()   # 关闭socket server

客户端：

import socket

client = socket.socket()
client.connect(("localhost",9999))

while True:
    cmd = input(">>>:").strip()
    if len(cmd) == 0:continue
    client.send(cmd.encode("utf-8"))
    cmd_res = client.recv(500)
    print(cmd_res.decode("utf-8"))

client.close()

上面代码演示了socketsever如何使用，但是在代码里面并没有实现多并发的效果，如果要实现多线程或者多线程需要稍微更改下服务端代码就可以了，客户端保持不变。

 

三、实现多进程，多线程的几种并发类：

# 多进程
class socketserver.ForkingTCPServer

class socketserver.ForkingUDPServer

#多线程
class socketserver.ThreadingTCPServer

class socketserver.ThreadingUDPServer

1、多进程：

实例化TCPServer时，采用ForkingTCPServer这种多线程方式，但是这种方式在windows上不好使，需要在Linux上去执行，因为windows和linux处理多进程方式不一样

import socketserver


class MyServer(socketserver.BaseRequestHandler):   # 继承BaseRequestHandler这个基类
    # 重写handle
    def handle(self):
            while True:
                try:
                    self.data = self.request.recv(1024)  # 服务端接受数据
                    print("{0} write:".format(self.client_address[0]))  # 打印客户端地址
                    print(self.data.decode())
                    self.request.send(self.data.upper())  # 将客户端接收到数据大写后再发送回去
                except ConnectionResetError as e:   # 抓去异常，这个异常当客户端断开服务端出现断开，这个只有在python3.0才会有
                    print("error:", e)
                    break

if __name__ == "__main__":
    HOST, PORT = "localhost", 9999
    server = socketserver.ForkingTCPServer((HOST, PORT), MyServer)  # 采用ForkingTCPServer多线程方式实例化
    server.serve_forever()  # 实现多个链接
    server.server_close()   # 关闭socket server

 2、多线程：

在实例化TCPServer时，采用ThreadingTCPServer这种多线程方式（这个常用）

import socketserver


class MyServer(socketserver.BaseRequestHandler):   # 继承BaseRequestHandler这个基类
    # 重写handle
    def handle(self):
            while True:
                try:
                    self.data = self.request.recv(1024)  # 服务端接受数据
                    print("{0} write:".format(self.client_address[0]))  # 打印客户端地址
                    print(self.data.decode())
                    self.request.send(self.data.upper())  # 将客户端接收到数据大写后再发送回去
                except ConnectionResetError as e:   # 抓去异常，这个异常当客户端断开服务端出现断开，这个只有在python3.0才会有
                    print("error:", e)
                    break

if __name__ == "__main__":
    HOST, PORT = "localhost", 9999
    server = socketserver.ThreadingTCPServer((HOST, PORT), MyServer)  # 采用ThreadingTCPServer多线程方式实例化
    server.serve_forever()  # 实现多个链接
    server.server_close()   # 关闭socket server

3、socketserver.BaseServer的主要方法：

#class SocketServer.BaseServer：这是模块中的所有服务器对象的超类。它定义了接口，如下所述，但是大多数的方法不实现，在子类中进行细化。

BaseServer.fileno()：返回服务器监听套接字的整数文件描述符。通常用来传递给select.select(), 以允许一个进程监视多个服务器。

BaseServer.handle_request()：处理单个请求。处理顺序：get_request(), verify_request(), process_request()。如果用户提供handle()方法抛出异常，将调用服务器的handle_error()方法。如果self.timeout内没有请求收到， 将调用handle_timeout()并返回handle_request()。

BaseServer.serve_forever(poll_interval=0.5): 处理请求，直到一个明确的shutdown()请求。每poll_interval秒轮询一次shutdown。忽略self.timeout。如果你需要做周期性的任务，建议放置在其他线程。

BaseServer.shutdown()：告诉serve_forever()循环停止并等待其停止。python2.6版本。

BaseServer.address_family: 地址家族，比如socket.AF_INET和socket.AF_UNIX。

BaseServer.RequestHandlerClass：用户提供的请求处理类，这个类为每个请求创建实例。

BaseServer.server_address：服务器侦听的地址。格式根据协议家族地址的各不相同，请参阅socket模块的文档。

BaseServer.socketSocket：服务器上侦听传入的请求socket对象的服务器。



#服务器类支持下面的类变量：

BaseServer.allow_reuse_address：服务器是否允许地址的重用。默认为false ，并且可在子类中更改。

BaseServer.request_queue_size

请求队列的大小。如果单个请求需要很长的时间来处理，服务器忙时请求被放置到队列中，最多可以放request_queue_size个。一旦队列已满，来自客户端的请求将得到 “Connection denied”错误。默认值通常为5 ，但可以被子类覆盖。

BaseServer.socket_type：服务器使用的套接字类型; socket.SOCK_STREAM和socket.SOCK_DGRAM等。

BaseServer.timeout：超时时间，以秒为单位，或 None表示没有超时。如果handle_request()在timeout内没有收到请求，将调用handle_timeout()。





#下面方法可以被子类重载，它们对服务器对象的外部用户没有影响。

BaseServer.finish_request()：实际处理RequestHandlerClass发起的请求并调用其handle()方法。 常用。

BaseServer.get_request()：接受socket请求，并返回二元组包含要用于与客户端通信的新socket对象，以及客户端的地址。

BaseServer.handle_error(request, client_address)：如果RequestHandlerClass的handle()方法抛出异常时调用。默认操作是打印traceback到标准输出，并继续处理其他请求。

BaseServer.handle_timeout()：超时处理。默认对于forking服务器是收集退出的子进程状态，threading服务器则什么都不做。

BaseServer.process_request(request, client_address) :调用finish_request()创建RequestHandlerClass的实例。如果需要，此功能可以创建新的进程或线程来处理请求,ForkingMixIn和ThreadingMixIn类做到这点。常用。

BaseServer.server_activate()：通过服务器的构造函数来激活服务器。默认的行为只是监听服务器套接字。可重载。

BaseServer.server_bind()：通过服务器的构造函数中调用绑定socket到所需的地址。可重载。

BaseServer.verify_request(request, client_address)：返回一个布尔值，如果该值为True ，则该请求将被处理，反之请求将被拒绝。此功能可以重写来实现对服务器的访问控制。默认的实现始终返回True。client_address可以限定客户端，比如只处理指定ip区间的请求。 常用。