Python实战之SocketServer模块

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python实战之SocketServer模块相关的知识,希望对你有一定的参考价值。

文章出处:http://www.cnblogs.com/wupeiqi/articles/5040823.html

 

SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ,从而实现并发处理多个客户端请求的Socket服务端。即:每个客户端请求连接到服务器时,Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。

 

ThreadingTCPServer

ThreadingTCPServer实现的Soket服务器内部会为每个client创建一个 “线程”,该线程用来和客户端进行交互。

1、ThreadingTCPServer基础

使用ThreadingTCPServer:

  • 创建一个继承自 SocketServer.BaseRequestHandler 的类
  • 类中必须定义一个名称为 handle 的方法
  • 启动ThreadingTCPServer

 

内部调用流程为:

  • 启动服务端程序
  • 执行 TCPServer.__init__ 方法,创建服务端Socket对象并绑定 IP 和 端口
  • 执行 BaseServer.__init__ 方法,将自定义的继承自SocketServer.BaseRequestHandler 的类 MyRequestHandle赋值给 self.RequestHandlerClass
  • 执行 BaseServer.server_forever 方法,While 循环一直监听是否有客户端请求到达 ...
  • 当客户端连接到达服务器
  • 执行 ThreadingMixIn.process_request 方法,创建一个 “线程” 用来处理请求
  • 执行 ThreadingMixIn.process_request_thread 方法
  • 执行 BaseServer.finish_request 方法,执行 self.RequestHandlerClass()  即:执行 自定义 MyRequestHandler 的构造方法(自动调用基类BaseRequestHandler的构造方法,在该构造方法中又会调用 MyRequestHandler的handle方法)

 

import socket
import threading
import select

def process(request, client_data):
    print(request, client_data)
    conn = request
    conn.sendall(bytes("Welcom to 10086",encoding=utf-8))
    flag = True

    while flag:
        data = conn.recv(1024)
        if data == exit:
            flag = False
        elif data == 0:
            conn.sendall(bytes("0000",encoding=utf-8))
        else:
            conn.sendall(bytes("Do it again",encoding="utf-8"))
sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.bind((127.0.0.1,9999))
sk.listen(5)

while True:
    r, w, e = select.select([sk,],[], [], 1)
    print(looping)
    if sk in r:
        print("Get request")
        request, client_address = sk.accept()
        t = threading.Thread(target=process, args=(request, client_address))
        t.daemon = False
        t.start()
sk.close()

 

 

如精简代码可以看出,SocketServer的ThreadingTCPServer之所以可以同时处理请求得益于 selectThreading 两个东西,其实本质上就是在服务器端为每一个客户端创建一个线程,当前线程用来处理对应客户端的请求,所以,可以支持同时n个客户端链接(长连接)。

ForkingTCPServer

ForkingTCPServer和ThreadingTCPServer的使用和执行流程基本一致,只不过在内部分别为请求者建立 “线程”  和 “进程”。

基本使用:

服务器端:

import socketserver

class MyServer(socketserver.BaseRequestHandler):

    def handle(self):
        # print(self.request, self.client_address, self.server)
        conn = self.request
        conn.sendall(bytes(Welcome to connect 10086,encoding=utf-8))
        Flag = True

        while Flag:
            data = conn.recv(1024)
            if data == exit:
                Flag = False
            elif data == 0:
                conn.sendall(bytes(sssssss,encoding=utf-8))
            else:
                conn.sendall(bytes(do it again,encoding=utf8))

if __name__ == __main__:
    server = socketserver.ForkingTCPServer((127.0.0.1,8009),MyServer)
    server.serve_forever()

 

客户端:

import socket

ip_port = (127.0.0.1,8009)
sk = socket.socket()
sk.connect(ip_port)
sk.settimeout(5)

while True:
    data = sk.recv(1024)
    print("Receive:",data)
    inp = input("Please input:")
    sk.sendall(inp)
    
    if inp == exit:
        break
sk.close()

事件驱动

简而言之,事件驱动分为二个部分:第一,注册事件;第二,触发事件。

自定义事件驱动框架,命名为:“弑君者”:

 

event_list =[]

def run():
    for event in event_list:
        obj = event()
        obj.execute()

class BaseHandler(object):
    def execute(self):
        raise Exception("You must overwrite execute")

使用方法:

from day9 import source

class MyHandler(source.BaseHandler):
    def execute(self):
        print("Event-drive execute myhandler")
        
source.event_list.append(MyHandler)
source.run()

 

如上述代码,事件驱动只不过是框架规定了执行顺序,程序员在使用框架时,可以向原执行顺序中注册“事件”,从而在框架执行时可以出发已注册的“事件”。

基于事件驱动Socket

 

from twisted.internet import protocol
from twisted.internet import reactor

class Echo(protocol.Protocol):
    def dataReceived(self, data):
        self.transport.write(data)
    

def main():
    factory = protocol.ServerFactory()
    factory.protocol = Echo
    
    reactor.listenTCP(8000, factory)
    reactor.run()

if __name__ == __main__:
    main()

 

程序执行流程:

  • 运行服务端程序
  • 创建Protocol的派生类Echo
  • 创建ServerFactory对象,并将Echo类封装到其protocol字段中
  • 执行reactor的 listenTCP 方法,内部使用 tcp.Port 创建socket server对象,并将该对象添加到了 reactor的set类型的字段 _read 中
  • 执行reactor的 run 方法,内部执行 while 循环,并通过 select 来监视 _read 中文件描述符是否有变化,循环中...
  • 客户端请求到达
  • 执行reactor的 _doReadOrWrite 方法,其内部通过反射调用 tcp.Port 类的 doRead 方法,内部 accept 客户端连接并创建Server对象实例(用于封装客户端socket信息)和 创建 Echo 对象实例(用于处理请求) ,然后调用 Echo 对象实例的 makeConnection 方法,创建连接。
  • 执行 tcp.Server 类的 doRead 方法,读取数据,
  • 执行 tcp.Server 类的 _dataReceived 方法,如果读取数据内容为空(关闭链接),否则,出发 Echo 的 dataReceived 方法
  • 执行 Echo 的 dataReceived 方法

从源码可以看出,上述实例本质上使用了事件驱动的方法 和 IO多路复用的机制来进行Socket的处理。

from twisted.internet import reactor, protocol
from twisted.web.client import getPage
from twisted.internet import reactor
import time

class Echo(protocol.Protocol):

    def dataReceived(self, data):
        deferred1 = getPage(http://cnblogs.com)
        deferred1.addCallback(self.printContents)

        deferred2 = getPage(http://baidu.com)
        deferred2.addCallback(self.printContents)

        for i in range(2):
            time.sleep(1)
            print execute ,i


    def execute(self,data):
        self.transport.write(data)

    def printContents(self,content):
        print len(content),content[0:100],time.time()

def main():

    factory = protocol.ServerFactory()
    factory.protocol = Echo

    reactor.listenTCP(8000,factory)
    reactor.run()

if __name__ == __main__:
    main()

 

以上是关于Python实战之SocketServer模块的主要内容,如果未能解决你的问题,请参考以下文章

python之线程进程和协程

《Python》网络编程之验证客户端链接的合法性socketserver模块

网络编程之socketserver初识

Python网络编程之socketserver实现多并发

python网络编程 socketserver模块

Python-SocketServer模块