python-requests模块

Posted 2022-03-01 mojiruo

python-request

python 访问网络资源有几种方式：

• python 内置有 urllib、urllib2 模块，用于访问网络资源。
• 通过三方模块 requests 模块（推荐）
• httplib2

Requests：
    import requests
    response = requests.get(url)
    content = requests.get(url).content
    print "response headers:", response.headers
    print "content:", content
Urllib2：
    import urllib2
    response = urllib2.urlopen(url)
    content = urllib2.urlopen(url).read()
    print "response headers:", response.headers
    print "content:", content
Httplib2：
    import httplib2
    http = httplib2.Http()
    response_headers, content = http.request(url, 'GET')
    print "response headers:", response_headers
    print "content:", content

urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。
urllib2.urlopen accepts an instance of the Request class or a url, （whereas urllib.urlopen only accepts a url 中文意思就是：urllib2.urlopen 可以接受一个 Request 对象或者url，（在接受Request对象时候，并以此可以来设置一个URL 的headers），urllib.urlopen只接收一个url
urllib 有urlencode,urllib2没有，这也是为什么总是urllib，urllib2常会一起

requests 基础

1) 导入模块

import requests

2) 发送 GET 请求

r = requests.get('https://www.douban.com/') # 豆瓣首页

3) 获取响应结果

print(r.text)

4）响应结果

r.status_code HTTP请求的返回状态
r.text HTTP响应内容的字符串形式
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）
r.content HTTP响应内容的二进制形式

r.encoding和r.apparent_encoding的区别 
r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1 
r.apparent_encoding:根据网页内容分析出的编码方式 
综上所述，r.apparent_encoding比r.encoding更为准确