Python学习笔记__13.2章 requests

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python学习笔记__13.2章 requests相关的知识,希望对你有一定的参考价值。

# 这是学习廖雪峰老师python教程的学习笔记


相比于Python内置的urllib模块,使用requests可以更好地处理URL资源。

1、使用requests

    1)通过GET访问一个页面

>>> import requests

>>> r = requests.get('https://www.douban.com/') # 豆瓣首页

>>> r.status_code

200

>>> r.text

r.text

'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供图书、电影、音乐唱片的推荐、评论和...'

 

    2)对于带参数的URL,传入一个dict作为params参数:

>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})

>>> r.url  # 我们实际请求的URL

'https://www.douban.com/search?q=python&cat=1001'

 

    3)requests自动检测编码,可以使用encoding属性查看

>>> r.encoding

'utf-8'

 

    4)无论响应是文本还是二进制内容,我们都可以用content属性获得bytes对象

>>> r.content

b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'

 

    4)对于特定类型的响应,例如JSON,可以直接获取

>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')

>>> r.json()

{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', …

 

    5)需要传入HTTP Header时,我们传入一个dict作为headers参数:

>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})

>>> r.text

'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手机版)</title>...'

 

    6)发送POST请求,只需要把get()方法变成post(),然后传入data参数作为POST请求的数据

>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': '[email protected]', 'form_password': '123456'})

post()方法替换为put()delete()等,就可以以PUT或DELETE方式请求资源

 

    7)requests默认使用application/x-www-form-urlencodedPOST数据编码。如果要传递JSON数据,可以直接传入json参数

params = {'key': 'value'}

r = requests.post(url, json=params) # 内部自动序列化为JSON

 

    8)上传文件需要更复杂的编码格式,但是requests把它简化成files参数

>>> upload_files = {'file': open('report.xls', 'rb')} #注意标示符b,这样获取的bytes长度才是文件的长度

>>> r = requests.post(url, files=upload_files)

 

    9)获取响应头

>>> r.headers

{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}

>>> r.headers['Content-Type']

'text/html; charset=utf-8'

 

    10)获取指定的Cookie

>>> cs = {'token': '12345', 'status': 'working'}

>>> r = requests.get(url, cookies=cs)

 

    11)要指定超时,传入以秒为单位的timeout参数

>>> r = requests.get(url, timeout=2.5) # 2.5秒后超时


以上是关于Python学习笔记__13.2章 requests的主要内容,如果未能解决你的问题,请参考以下文章

Python学习笔记__8章错误调试和测试__8.1章错误处理

Python学习笔记__7.2章 使用@property

Python学习笔记__7.3章定制类

Python学习笔记__3.1章 切片

Python学习笔记__7.1章 使用__slots__

Python学习笔记__14章 virtualenv