python:requests模块

Posted 112226

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python:requests模块相关的知识,希望对你有一定的参考价值。

requests模块是我在学习爬虫时学到的一个模块,它的api比较简单好用,这里简介下使用方法。

其实这个很好使用,几行代码就可以获取一个网页的内容:

import requests

url = \'http://www.juzimi.com/ju/252304\'

response = requests.get(url)

print (response.text)

它支持很多http请求类型:getpostputdeleteheadoptions

其中获取的响应内容有2中显示方法

.content  以字节的方式显示,中文显示为字符

.text     以文本的方式显示,放两张图就能明白了

这是content

 

 

这是text

 

 

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。

可以通过.encoding 查看requests使用了什么编码

也可以手动改变其使用的编码r.encoding= ‘gbk2312’

Get请求可以传递参数

import requests

url = \'http://www.juzimi.com/article/33125\'

payload = {\'page\':\'1\'}

response = requests.get(url,params=payload)

print (response.text)

可以打印.url,查看构造后的url

 

 

定制请求头部

传一个dictheads参数

headers = {\'user-agent\': \'my-app/0.0.1\'}

r = requests.get(url, headers=headers)

发送post请求

payload = {\'key1\': \'value1\', \'key2\': \'value2\'}

r = requests.post("http://httpbin.org/post", data=payload)

get方法还有一个cookies参数

timeout参数

访问代理

proxies = {

           "http": "http://10.10.10.10:8888",

           "https": "http://10.10.10.100:4444",

          }

r = requests.get(\'http://m.ctrip.com\', proxies=proxies)

 

 

以上是关于python:requests模块的主要内容,如果未能解决你的问题,请参考以下文章

python requests模块—让HTTP服务人类~

python requests 模块

python requests 模块

python (requests模块使用)

Python requests模块学习笔记

python3 requests模块 基本