python I/O多路复用 使用http完成http请求
Posted callyblog
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python I/O多路复用 使用http完成http请求相关的知识,希望对你有一定的参考价值。
1. 使用类实现比较方便我们使用里面的参数
2. 我们使用selector,不适用select
from selectors import DefaultSelector
3. I/O多路复用是指使用 回调+事件循环+select(poll\epoll)
a. 使用selector注册,并注册回调函数
b. 使用事件循环一直循环,查询状态
c. 使用select调用相应的回调函数
import socket from urllib.parse import urlparse from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE selector = DefaultSelector() #使用select完成http请求 urls = [] stop = False class Fetcher: def connected(self, key): selector.unregister(key.fd) self.client.send("GET HTTP/1.1\r\nHost:\r\nConnection:close\r\n\r\n".format(self.path, self.host).encode("utf8")) selector.register(self.client.fileno(), EVENT_READ, self.readable) def readable(self, key): d = self.client.recv(1024) if d: self.data += d else: selector.unregister(key.fd) data = self.data.decode("utf8") html_data = data.split("\r\n\r\n")[1] print(html_data) self.client.close() urls.remove(self.spider_url) if not urls: global stop stop = True def get_url(self, url): self.spider_url = url url = urlparse(url) self.host = url.netloc self.path = url.path self.data = b"" if self.path == "": self.path = "/" # 建立socket连接 self.client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.client.setblocking(False) try: self.client.connect((self.host, 80)) # 阻塞不会消耗cpu,不阻塞,使其一直运行下去,因为这里不使用socket.blocking(True)会抛出异常。 except BlockingIOError as e: pass #注册 selector.register(self.client.fileno(), EVENT_WRITE, self.connected) def loop(): #事件循环,不停的请求socket的状态并调用对应的回调函数 #1. select本身是不支持register模式 #2. socket状态变化以后的回调是由程序员完成的 while not stop: ready = selector.select() for key, mask in ready: call_back = key.data call_back(key) #回调+事件循环+select(poll\epoll) if __name__ == "__main__": fetcher = Fetcher() import time start_time = time.time() for url in range(20): url = "http://shop.projectsedu.com/goods//".format(url) urls.append(url) fetcher = Fetcher() fetcher.get_url(url) loop() print(time.time()-start_time)
回调之痛
1. 代码可读性差,因为嵌套了多层回调
2. 共享状态困难,这里指的是共享变量,如socket的变量
3. 异常处理困难,如果嵌套多层,异常难以处理
以上是关于python I/O多路复用 使用http完成http请求的主要内容,如果未能解决你的问题,请参考以下文章
Python3标准库:selectors I/O多路复用抽象