爬虫——Requests库初识

Posted lymlike

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫——Requests库初识相关的知识,希望对你有一定的参考价值。

1.Requests是什么

首先Requests是HTTP库,在爬虫中用于请求的相关功能。

而且requests是python实现的最简单易用的HTTP库,建议爬虫使用requests库。

默认安装好python之后,是没有安装requests模块的,需要单独通过pip安装。

2.Requests的使用

import requests

response = requests.get(https://www.baidu.com)

print(response.text)
print(response.content)
print(response.status_code)
print(response.cookies)
print(response..content.decode(utf-8))

注意:如果直接response.text出现乱码,可使用response.content。

这样返回的数据格式其实是二进制格式,然后通过decode()转换为utf-8,这样就解决了通过response.text直接返回显示乱码的问题。

2.1 请求

requests里提供个各种请求方式:

import requests

requests.post("http://httpbin.org/post")
requests.put("http://httpbin.org/put")
requests.delete("http://httpbin.org/delete")
requests.head("http://httpbin.org/get")
requests.options("http://httpbin.org/get")

 

基本的get请求

import requests

response = requests.get(https://www.cnblog.com)
print(response.text)

 

带参数的get请求

import requests

response = requests.get(https://book.douban.com/subject_search?search_text=python&cat=1001)
print(response.text)

另外,Requests模块允许使用params关键字传递参数,以一个字典来传递这些参数:

import requests

data = {
    "search_text":"python",
    "cat":1001
}
response = requests.get(https://book.douban.com/subject_search,params=data)
print(response.url)
print(response.text)

 

解析json

import requests
import json

response = requests.get("http://httpbin.org/get")
print(type(response.text))
print(response.json())      # 返回的数据若不是json类型,会报错
print(json.loads(response.text))
print(type(response.json()))

 

从结果可以看出requests里面集成的json其实就是执行了json.loads()方法,两者的结果是一样的。

获取二进制数据

在上面提到了response.content,这样获取的数据是二进制数据,同样的这个方法也可以用于下载图片以及视频资源。

添加headers

有很多网站为了防止程序爬虫爬网站造成网站瘫痪,会需要携带一些headers头部信息才能访问,最长见的有user-agent参数。

如当我们直接通过requests请求知乎网站的时候,默认是无法访问的。

因为访问知乎需要头部信息,这个时候我们在谷歌浏览器里输入chrome://version,就可以看到用户代理,将用户代理添加到头部信息。

技术图片

import requests
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/73.0.3683.75 Safari/537.36"
}
response =requests.get("https://www.zhihu.com",headers=headers)

print(response.text)

这样就可以正常的访问知乎了。

基本POST请求

通过在发送post请求时添加一个data参数,这个data参数可以通过字典构造成,这样对于发送post请求就非常方便。

import requests

data = {
    "name":"eric",
    "age":22
}
response = requests.post("http://httpbin.org/post",data=data)
print(response.text)

同样的在发送post请求的时候也可以和发送get请求一样通过headers参数传递一个字典类型的数据

响应

我们可以通过response获得很多属性,例子如下:

import requests

response = requests.get("http://www.baidu.com")
print(type(response.status_code),response.status_code)
print(type(response.headers),response.headers)
print(type(response.cookies),response.cookies)
print(type(response.url),response.url)
print(type(response.history),response.history)

状态码判断
Requests还附带了一个内置的状态码查询对象

详见:https://www.cnblogs.com/zhaof/p/6915127.html

2.2requests高级用法

 文件上传

实现方法为构造一个字典,然后通过files参数传递。

import requests

files = {"files": open("girl.jpg","rb")}
response = requests.post("http://httpbin.org/post", files=files)
print(response.text)

 

获取cookie

import requests

response = requests.get("http://www.baidu.com")
print(response.cookies)

for key,value in response.cookies.items():
    print(key+"----"+value)

 

会话维持

cookie的一个作用就是可以用于模拟登陆,做会话维持

import requests
s = requests.Session()       # 实例化一个session对象,通过这个session对象访问
s.get(http://httpbin.org/cookies/set/number/123456)
response = s.get("http://httpbin.org/cookies)
print(response.text)

 

证书验证

现在的很多网站都是https的方式访问,所以这个时候就涉及到证书的问题

有些网站默认的证书是不合法的,这样就会出现类似ssl.SSLError的错误提示

为了避免这种情况的发生可以通过将参数verify设置为False:verify=False

详见:https://www.cnblogs.com/zhaof/p/6915127.html

代理设置

import requests

proxies= {
    "http":"http://127.0.0.1:9999",
    "https":"http://127.0.0.1:8888"
}
response  = requests.get("https://www.baidu.com",proxies=proxies)
print(response.text)

如果代理需要设置账户名和密码,只需要将字典更改为如下:
proxies = {
"http":"http://user:password@127.0.0.1:9999"
}
如果你的代理是通过sokces这种方式则需要pip install "requests[socks]"
proxies= {
"http":"socks5://127.0.0.1:9999",
"https":"sockes5://127.0.0.1:8888"
}

超时设置

通过timeout参数可以设置超时的时间

认证设置

如果碰到需要认证的网站可以通过requests.auth模块实现

import requests

from requests.auth import HTTPBasicAuth

response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
print(response.status_code)

当然这里还有一种方式

import requests

response = requests.get("http://120.27.34.24:9001/",auth=("user","123"))
print(response.status_code)

 

异常处理

所有的异常都是在requests.excepitons中

见:https://www.cnblogs.com/zhaof/p/6915127.html

参考:https://www.cnblogs.com/zhaof/p/6915127.html

以上是关于爬虫——Requests库初识的主要内容,如果未能解决你的问题,请参考以下文章

requests-html库初识 + 无资料解BUG之 I/O error : encoder error,Python爬虫第30例

初识python爬虫框架Scrapy

python小课堂专栏python小课堂31 - 初识原生爬虫

Python爬虫之Requests库入门

爬虫请求库——requests

Python爬虫:Requests库