七Requests库

Posted 2020-11-29 nuochengze

1、Requests的目的：让HTTP服务人类

　　python的标准库中urllib模块包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，而Requests自称"HTTP for Humans",让使用更简洁方便。

　　Requests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。　　

　　requests的底层实现其实就是urllib，且能满足当前网络的需求。

　　开源地址：https://github.com/psf/requests

　　中文文档：https://requests.readthedocs.io/zh_CN/latest/

2、安装方式

　　`pip install requests`

　　`easy_install requests`

3、基本GET请求（headers参数和params参数）

　　3.1 最基本的GET请求可以直接用get方法

import requests

response = requests.get("https://www.baidu.com")

# 也可以这么写
# response = requests.request("get","https://www.baidu.com")

print(response.status_code)

　　3.2 添加headers和查询参数

import requests

url = "https://www.baidu.com"

kw = {"wd":"长城"}

headers = { 
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/81.0.4044.129 Safari/537.36" 
    }

# params 接收一个字典或字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()

response = requests.get(url,headers=headers,params=kw)

# 查看响应内容，response.text,返回的是unicode格式的数据
print(response.text)

# 查看完整的url地址
print(response.url)

# 查看响应头部字符编码
print(response.encoding)

# 查看响应头码
print(response.status_code)

# 查看请求头
print(response.request.headers)

# 查看响应内容,response.content.decode()
print(response.content.decode())

4、基本POST请求(data参数)

　　4.1 最基本post方法

import requests

data = {
    "pn":1        
}

response = requests.post("http://www.baidu.com",data=data)

print(response.text)

　　4.2 传入data数据

　　　　对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。　

import requests

headers={}
data = {}

response = requests.post(url,data=data,headers=headers)

print(response.text)

# 如果post返回的是一个json文件，则response.json()可以直接显示
print(response.json())

5、代理（proxies参数）

　　如果需要使用代理，可以通过为任意请求方法通过`proxies`参数来配置单个请求。

import requests

# 根据协议类型，选择不同的代理
proxies = {
    "http":"http://12.32.3.4:5825",
    "https":"https://21.3.43.5:4582",           
}

response = requests.get(url,proxies=proxies)

print(response.text)

　　也可以通过本地环境变量`HTTP_PROXY`和`HTTPS_PROXY`来配置代理:

export HTTP_PROXY="http://12.32.33.23:7878"
export HTTPS_PROXY="https://12.32.2.3:3454"

　　5.1  私密代理验证（特定的格式）

import requests

# 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：
proxy = { "http": "xxxxx:lalala@61.158.163.130:16816" }

response = requests.get("http://www.baidu.com", proxies = proxy)

print (response.text)

　　5.2 web客户端验证（auth参数）

　　　　web客户端验证，需要添加auth=(账号名，密码)

import requests

auth=(‘test‘, ‘123456‘)

response = requests.get(‘http://192.168.199.107‘, auth = auth)

print (response.text)

6、Cookies和Session

　　6.1 Cookies

　　　　如果一个响应中包含了cookie，那么我们可以利用cookies参数拿到

import requests

response = requests.get("https://www.baidu.com")

# 返回CookieJar对象 
cookiejar = response.cookies
print(cookiejar)
# <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

# 将CookieJar转为字典
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)
#{‘BDORZ‘: ‘27315‘}

　　6.2 session

　　　　在requests里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。

　　　　会话能让我们在跨请求时保持某些参数，比如在同一个Session实例发出的所有请求之间保持cookie。

import requests

# 创建session对象，可以保存Cookie值
session_ = requests.session()

# 处理headers
headers = {
    "headers": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36",
}

# 需要登录的用户名和密码
data = {
    "email":"[e-mail]",
    "password":"lalala"
}

url_domain = "http://www.renren.com/SysHome.do"

# 发送附带用户名和密码的请求，并获取登陆后的cookie值，保存在session_里
session_.post(url_domain,data=data,headers=headers)

# session_包含用户登录后的cookie值，可以直接访问那些登录后才可以访问的页面
url = "http://www.renren.com/4100431223/profile"
response = session_.get(url)

print(response.text)

 

7、处理HTTPS请求SSL证书验证

　　Requests可以为HTTPS请求验证SSL证书:

　　（1）想要检查某个主机的SSL整数,可以使用verify参数（可以不写，默认verify=True）　

import requests

response = requests.get("https://www.baidu.com",verify=True)

print(response.content.decode())

　　（2）如果SSL证书验证不通过，或者不信任服务器的安全证书，则会报出SSLError　　

SSLError: ("bad handshake: Error([(‘SSL routines‘,‘ssl3_get_server_certificate‘, ‘certificate verify failed‘)],)",)

　　（3）如果想跳过该网站的证书验证，把verify设置为False就可以正常请求了

r = requests.get(url,verify=False)