python I/O多路复用 使用http完成http请求

Posted callyblog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python I/O多路复用 使用http完成http请求相关的知识,希望对你有一定的参考价值。

1. 使用类实现比较方便我们使用里面的参数

2. 我们使用selector,不适用select

from selectors import DefaultSelector

 

 

3. I/O多路复用是指使用 回调+事件循环+select(poll\epoll)

  a. 使用selector注册,并注册回调函数

  b. 使用事件循环一直循环,查询状态

  c. 使用select调用相应的回调函数

import socket
from urllib.parse import urlparse
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE


selector = DefaultSelector()
#使用select完成http请求
urls = []
stop = False


class Fetcher:
    def connected(self, key):
        selector.unregister(key.fd)
        self.client.send("GET  HTTP/1.1\r\nHost:\r\nConnection:close\r\n\r\n".format(self.path, self.host).encode("utf8"))
        selector.register(self.client.fileno(), EVENT_READ, self.readable)

    def readable(self, key):
        d = self.client.recv(1024)
        if d:
            self.data += d
        else:
            selector.unregister(key.fd)
            data = self.data.decode("utf8")
            html_data = data.split("\r\n\r\n")[1]
            print(html_data)
            self.client.close()
            urls.remove(self.spider_url)
            if not urls:
                global stop
                stop = True

    def get_url(self, url):
        self.spider_url = url
        url = urlparse(url)
        self.host = url.netloc
        self.path = url.path
        self.data = b""
        if self.path == "":
            self.path = "/"

        # 建立socket连接
        self.client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.client.setblocking(False)

        try:
            self.client.connect((self.host, 80))  # 阻塞不会消耗cpu,不阻塞,使其一直运行下去,因为这里不使用socket.blocking(True)会抛出异常。
        except BlockingIOError as e:
            pass

        #注册
        selector.register(self.client.fileno(), EVENT_WRITE, self.connected)


def loop():
    #事件循环,不停的请求socket的状态并调用对应的回调函数
    #1. select本身是不支持register模式
    #2. socket状态变化以后的回调是由程序员完成的
    while not stop:
        ready = selector.select()
        for key, mask in ready:
            call_back = key.data
            call_back(key)
    #回调+事件循环+select(poll\epoll)

if __name__ == "__main__":
    fetcher = Fetcher()
    import time
    start_time = time.time()
    for url in range(20):
        url = "http://shop.projectsedu.com/goods//".format(url)
        urls.append(url)
        fetcher = Fetcher()
        fetcher.get_url(url)
    loop()
    print(time.time()-start_time)

 

回调之痛

1. 代码可读性差,因为嵌套了多层回调

2. 共享状态困难,这里指的是共享变量,如socket的变量

3. 异常处理困难,如果嵌套多层,异常难以处理

以上是关于python I/O多路复用 使用http完成http请求的主要内容,如果未能解决你的问题,请参考以下文章

python I/O 多路复用

Python3标准库:selectors I/O多路复用抽象

python协程和异步IO——IO多路复用

11.python并发入门(part15 关于I/O多路复用)

Python开发第十章:I/O多路复用异步I/O(综合篇)

2017.07.12 Python网络编程之使用多路复用套接字I/O