Python 是不是有用于解析 HTTP 请求和响应的模块?

Posted

技术标签:

【中文标题】Python 是不是有用于解析 HTTP 请求和响应的模块?【英文标题】:Does Python have a module for parsing HTTP requests and responses?Python 是否有用于解析 HTTP 请求和响应的模块? 【发布时间】:2011-01-08 02:16:39 【问题描述】:

httplib(现在的http.client)和朋友都有conn.getresponse()和一个HTTPResponse类,但是conn.getrequest()和一个HTTPRequest类的服务端操作好像欠缺。

我了解 BaseHTTPServer 和 BaseHTTPRequestHandler 可以执行此功能,但它们不会公开这些方法以供在模块之外使用。

基本上我想要的是 BaseHTTPRequestHandler#parse_request 是一个返回 HTTPRequest 对象而不是填充成员变量的静态方法。

【问题讨论】:

【参考方案1】:

Jeff,为了启用解析,我创建了一个基本 HTTP 请求处理程序的小九行子类:

from BaseHTTPServer import BaseHTTPRequestHandler
from StringIO import StringIO

class HTTPRequest(BaseHTTPRequestHandler):
    def __init__(self, request_text):
        self.rfile = StringIO(request_text)
        self.raw_requestline = self.rfile.readline()
        self.error_code = self.error_message = None
        self.parse_request()

    def send_error(self, code, message):
        self.error_code = code
        self.error_message = message

您现在可以获取一个包含 HTTP 请求文本的字符串,并通过实例化此类来解析它:

# Simply instantiate this class with the request text

request = HTTPRequest(request_text)

print request.error_code       # None  (check this first)
print request.command          # "GET"
print request.path             # "/who/ken/trust.html"
print request.request_version  # "HTTP/1.1"
print len(request.headers)     # 3
print request.headers.keys()   # ['accept-charset', 'host', 'accept']
print request.headers['host']  # "cm.bell-labs.com"

# Parsing can result in an error code and message

request = HTTPRequest('GET\r\nHeader: Value\r\n\r\n')

print request.error_code     # 400
print request.error_message  # "Bad request syntax ('GET')"

【讨论】:

这与***.com/questions/5975952/… 结合使用可以方便地解析您自己的HTTPRequest。【参考方案2】:

对于服务器端处理,您希望查看 wsgiref 之类的内容。

WSGI 标准将请求解析为包含所有相关标头和元素的简单字典。

【讨论】:

【参考方案3】:

您可能会发现WebOb 很有用。 Pylons、Turbogears 和 Bfg 等框架将其用作其 api 的一部分。它确实是在假设您在 WSGI 下工作的情况下运行的。

【讨论】:

以上是关于Python 是不是有用于解析 HTTP 请求和响应的模块?的主要内容,如果未能解决你的问题,请参考以下文章

axios介绍

python爬虫优化和错误日志分析

Python Http请求和HTML的解析

Python Http请求和HTML的解析

Python Http请求和HTML的解析

Python Http请求和HTML的解析