Requests基础内容

Posted 2020-10-20 hezhefly

一、引入模块

import requests

二、普通请求（request）

网页6种请求方式
post（常用）	get（常用）	put	delete	head	options

 

 

 

r=requests.get(‘http://www.baidu.com‘)#get请求方式
r=requests.post(‘http://www.baidu.com‘)#post请求方式

get请求：我们每次点击网页都相当于对服务器发送了一次get请求，所以get请求在requests中比post更常用，它可以带参数请求API链接或搜索内容。

post请求：发送表单内容到服务器，常用于登录网页

三、带参数请求

r=requests.get(url, params={字典},**kwargs)#params为get请求要传递的参数
r=post(url, data={字典},json={字典},**kwargs）#data(json)为post请求要提交的参数，data和json两者提交到服务器的格式不同

params和data(json)分别为get和post将要提交的参数

**kwargs用于接受其它请求参数，比如headers，cookies等。（这部分属于请求的附加验证信息，一般大型网站会需要带上这部分信息参数能访问，这部分内容在后面会进行展开）

举个例子：

# 美团美食栏目内容请求API
url = ‘http://www.meituan.com/meishi/api/poi/getMerchantComment‘
#设置请求头信息，模拟浏览器访问
headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (Khtml, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1‘,
    ‘Host‘: ‘www.meituan.com‘,
    ‘Referer‘: ‘http: // www.meituan.com / meishi/1653468/‘
}
# 请求参数包括地区，起始页，最大信息量，默认分类
data = {‘id‘: ‘1653468‘, ‘userId‘: 0, ‘offset‘: 0, ‘pageSize‘: 10, ‘sortType‘: 1}
# 发送data请求
response_obj = requests.get(url, params=data, headers=headers)
# 打印输出response_obj
print(response_obj)
>>>
<Response [200]>

四、读取响应内容

功能	参数	说明
读取内容	text	读取网页内容，requests会根据头部信息自动进行解码操作
	content	二进制内容，常用于读取网页图片或文件
	json()	自动对返回的json串进行解码，注意带“()”，请求失败会抛出异常，ValueError进行捕获，使用r.raise_for_status()方法进行捕获
	raw	读取网页原始内容，需要设置stream=True
读取参数	url	读取请求的url
	status_code	读取返回的状态码
	raise_for_status()	用于判断非200响应，注意带“()”
	headers	读取服务器响应头（区别于请求头）
	cookies	读取服务返回的cookies
	history	读取重定向历史

 

 

 

 

 

 

 

  

 

 

 

 

 举个例子：

import requests
URL = ‘http://ip.taobao.com/service/getIpInfo.php‘  # 淘宝IP地址库API
try:
    r = requests.get(URL, params={‘ip‘: ‘8.8.8.8‘}, timeout=1)
    r.raise_for_status()  # 如果响应状态码不是 200，就主动抛出异常
except requests.RequestException as e:
    print(e)
else:
    result = r.json()
    print(type(result), result, sep=‘\n‘)
>>>
<class ‘dict‘>
{‘code‘: 0, ‘data‘: {‘country‘: ‘美国‘, ‘country_id‘: ‘US‘, ‘area‘: ‘‘, ‘area_id‘: ‘-1‘, ‘region‘: ‘‘, ‘region_id‘: ‘-1‘, ‘city‘: ‘‘, ‘city_id‘: ‘-1‘, ‘county‘: ‘‘, ‘county_id‘: ‘-1‘, ‘isp‘: ‘Level3‘, ‘isp_id‘: ‘200053‘, ‘ip‘: ‘8.8.8.8‘}}

五、超时与异常

超时等待：

timeout：用于设置服务器响应等待时间，如果在规定时间内服务没有响应，则抛出异常

举个例子：

requests.get(‘http://github.com‘, timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host=‘github.com‘, port=80): Request timed out. (timeout=0.001)

 异常处理：

异常值	说明
ConnectionError	网络问题
HTTPError	非200状态码
Timeout	请求超时
TooManyRedirects	超出最大重定向次数
所有Requests显式抛出的异常都继承自requests.exceptions.RequestException

 

 

 

 

 

 

六、其它高级请求参数

参数	说明
cookies=字典	设置cookies
proxy=列表	设置代理
headers=字典	设置请求头
stream=布尔	流式下载或上传
cert=路径	设置验证设置为False，也可以忽略验证SSL证书
timeout=浮点值	设置超时响应
verify	为HTTPS请求验证SSL证书