七Requests库

Posted nuochengze

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了七Requests库相关的知识,希望对你有一定的参考价值。

1、Requests的目的:让HTTP服务人类

  python的标准库中urllib模块包含了平常我们使用的大多数功能,但是它的API使用起来让人感觉不太好,而Requests自称"HTTP for Humans",让使用更简洁方便。

  Requests 继承了urllib的所有特性。Requests支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码。  

  requests的底层实现其实就是urllib,且能满足当前网络的需求。

  开源地址:https://github.com/psf/requests

  中文文档:https://requests.readthedocs.io/zh_CN/latest/

2、安装方式

  `pip install requests`

  `easy_install requests`

3、基本GET请求(headers参数和params参数)

  3.1 最基本的GET请求可以直接用get方法

import requests

response = requests.get("https://www.baidu.com")

# 也可以这么写
# response = requests.request("get","https://www.baidu.com")
print(response.status_code)

  3.2 添加headers和查询参数

import requests

url = "https://www.baidu.com"

kw = {"wd":"长城"}

headers = { 
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/81.0.4044.129 Safari/537.36" 
    }

# params 接收一个字典或字符串的查询参数,字典类型自动转换为url编码,不需要urlencode()

response = requests.get(url,headers=headers,params=kw)

# 查看响应内容,response.text,返回的是unicode格式的数据
print(response.text)

# 查看完整的url地址
print(response.url)

# 查看响应头部字符编码
print(response.encoding)

# 查看响应头码
print(response.status_code)

# 查看请求头
print(response.request.headers)

# 查看响应内容,response.content.decode()
print(response.content.decode())

4、基本POST请求(data参数)

  4.1 最基本post方法

import requests

data = {
    "pn":1        
}

response = requests.post("http://www.baidu.com",data=data)

print(response.text)

  4.2 传入data数据

    对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。 

import requests

headers={}
data = {}

response = requests.post(url,data=data,headers=headers)

print(response.text)

# 如果post返回的是一个json文件,则response.json()可以直接显示
print(response.json())

5、代理(proxies参数)

  如果需要使用代理,可以通过为任意请求方法通过`proxies`参数来配置单个请求。

import requests

# 根据协议类型,选择不同的代理
proxies = {
    "http":"http://12.32.3.4:5825",
    "https":"https://21.3.43.5:4582",           
}

response = requests.get(url,proxies=proxies)

print(response.text)

  也可以通过本地环境变量`HTTP_PROXY`和`HTTPS_PROXY`来配置代理:

export HTTP_PROXY="http://12.32.33.23:7878"
export HTTPS_PROXY="https://12.32.2.3:3454"

  5.1  私密代理验证(特定的格式)

import requests

# 如果代理需要使用HTTP Basic Auth,可以使用下面这种格式:
proxy = { "http": "xxxxx:lalala@61.158.163.130:16816" }

response = requests.get("http://www.baidu.com", proxies = proxy)

print (response.text)

  5.2 web客户端验证(auth参数)

    web客户端验证,需要添加auth=(账号名,密码)

import requests

auth=(test, 123456)

response = requests.get(http://192.168.199.107, auth = auth)

print (response.text)

6、Cookies和Session

  6.1 Cookies

    如果一个响应中包含了cookie,那么我们可以利用cookies参数拿到

import requests

response = requests.get("https://www.baidu.com")

# 返回CookieJar对象 
cookiejar = response.cookies
print(cookiejar)
# <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

# 将CookieJar转为字典
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)
#{‘BDORZ‘: ‘27315‘}

  6.2 session

    在requests里,session对象是一个非常常用的对象,这个对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。

    会话能让我们在跨请求时保持某些参数,比如在同一个Session实例发出的所有请求之间保持cookie。

import requests

# 创建session对象,可以保存Cookie值
session_ = requests.session()

# 处理headers
headers = {
    "headers": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36",
}

# 需要登录的用户名和密码
data = {
    "email":"xxxx@qq.com",
    "password":"lalala"
}

url_domain = "http://www.renren.com/SysHome.do"

# 发送附带用户名和密码的请求,并获取登陆后的cookie值,保存在session_里
session_.post(url_domain,data=data,headers=headers)

# session_包含用户登录后的cookie值,可以直接访问那些登录后才可以访问的页面
url = "http://www.renren.com/4100431223/profile"
response = session_.get(url)

print(response.text)

 

7、处理HTTPS请求SSL证书验证

  Requests可以为HTTPS请求验证SSL证书:

  (1)想要检查某个主机的SSL整数,可以使用verify参数(可以不写,默认verify=True) 

import requests

response = requests.get("https://www.baidu.com",verify=True)

print(response.content.decode())

  (2)如果SSL证书验证不通过,或者不信任服务器的安全证书,则会报出SSLError  

SSLError: ("bad handshake: Error([(‘SSL routines‘,‘ssl3_get_server_certificate‘, ‘certificate verify failed‘)],)",)

  (3)如果想跳过该网站的证书验证,把verify设置为False就可以正常请求了

r = requests.get(url,verify=False)

 

以上是关于七Requests库的主要内容,如果未能解决你的问题,请参考以下文章

你如何在 python 中处理 graphql 查询和片段?

全网最全Requests库详解,实例引入,代码分析(ip代理,用户认证,证书检测)

Python爬虫之Requests库入门

Python——安装requests第三方库

爬虫请求库——requests

python接口自动化-requests库优化重构requests方法