httplib/urllib实现

Posted 2020-12-27 guguobao

httplib模块是一个底层基础模块，可以看到建立HTTP请求的每一步，但是实际的功能比较少。在python爬虫开发中基本用不到

• 下面详细介绍httplib提供的常用类型和方法：

• httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )
  • HTTPConnection类的构造函数，表示一次与服务器之间的交互，即请求/响应。
• HTTPConnection.request ( method , url [ , body [ , headers ]] )
  • 调用request 方法会向服务器发送一次请求，method 表示请求的方法，常用有方法有get 和post ；url 表示请求的资源的url ；body 表示提交到服务器的数据，必须是字符串（如果method 是"post" ，则可以把body 理解为html 表单中的数据）；headers 表示请求的http 头。

• HTTPConnection.getresponse ()

　　- 获取Http 响应。返回的对象是HTTPResponse 的实例，关于HTTPResponse 在下面会讲解。

• HTTPConnection.connect ()　　连接到Http 服务器。

• HTTPConnection.close ()　　关闭与服务器的连接。

httplib.HTTPResponse
　　HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建，它有如下方法和属性：

HTTPResponse.read([amt])

　　获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

HTTPResponse.getheader(name[, default])

　　获取响应头。Name表示头域(header field)吊，可选参数default在头域吊上存在的情况下作为默认值返回。

HTTPResponse.getheaders()

　　以列表的形式返回所有的头信息。

HTTPResponse.msg

　　获取所有的响应头信息。

HTTPResponse.version

　　获取服务器所使用的http协议版本。11表示http/1.1；10表示http/1.0。

HTTPResponse.status

　　获取响应的状态码。如：200表示请求成功。

HTTPResponse.reason

　　返回服务器处理请求的结果说明。一般为”OK”

接下来使用GET和POST请求发送，

• Get请求：

import httplib
conn =None
try:
    conn = httplib.HTTPConnection("www.zhihu.com")
    conn.request("GET", "/")
    response = conn.getresponse()
    print response.status, response.reason
    print ‘-‘ * 40
    headers = response.getheaders()
    for h in headers:
        print h
    print ‘-‘ * 40
    print response.msg
except Exception,e:
    print e
finally:
    if conn:
        conn.close()

-运行结果：

C:Python27python.exe F:/python_scrapy/ch03/3.2.2_Httplib.py
301 Moved Permanently
----------------------------------------
(‘content-length‘, ‘182‘)
(‘set-cookie‘, ‘tgw_l7_route=23ddf1acd85bb5988efef95d7382daa0; Expires=Wed, 01-Aug-2018 13:12:46 GMT; Path=/, _xsrf=1tvVcqOibo5QEOMGIxD3uSM36Hn3ms4J; path=/; domain=zhihu.com; expires=Sun, 17-Jan-21 12:57:46 GMT‘)
(‘vary‘, ‘Accept-Encoding‘)
(‘server‘, ‘ZWS‘)
(‘connection‘, ‘keep-alive‘)
(‘location‘, ‘https://www.zhihu.com/‘)
(‘date‘, ‘Wed, 01 Aug 2018 12:57:46 GMT‘)
(‘content-type‘, ‘text/html‘)
----------------------------------------
Date: Wed, 01 Aug 2018 12:57:46 GMT
Content-Type: text/html
Content-Length: 182
Connection: keep-alive
Set-Cookie: tgw_l7_route=23ddf1acd85bb5988efef95d7382daa0; Expires=Wed, 01-Aug-2018 13:12:46 GMT; Path=/
Location: https://www.zhihu.com/
Server: ZWS
Vary: Accept-Encoding
Set-Cookie: _xsrf=1tvVcqOibo5QEOMGIxD3uSM36Hn3ms4J; path=/; domain=zhihu.com; expires=Sun, 17-Jan-21 12:57:46 GMT


Process finished with exit code 0

• 下面是POST请求：

#！coding:utf-8
import httplib, urllib
conn = None
try:
    params = urllib.urlencode({‘name‘: ‘qiye‘, ‘age‘: 22})
    headers = {"Content-type": "application/x-www-form-urlencoded"
    , "Accept": "text/plain"}
    conn = httplib.HTTPConnection("www.zhihu.com", 80, timeout=3)
    conn.request("POST", "/login", params, headers)
    response = conn.getresponse()
    print response.getheaders() #获取头信息
    print response.status
    print response.read()
except Exception, e:
    print e
finally:
    if conn:
        conn.close()