爬虫——Requests库初识

Posted 2020-11-16 lymlike

1.Requests是什么

首先Requests是HTTP库，在爬虫中用于请求的相关功能。

而且requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。

默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装。

2.Requests的使用

import requests

response = requests.get(‘https://www.baidu.com‘)

print(response.text)
print(response.content)
print(response.status_code)
print(response.cookies)
print(response..content.decode(‘utf-8‘))

注意：如果直接response.text出现乱码，可使用response.content。

这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题。

2.1 请求

requests里提供个各种请求方式：

import requests

requests.post("http://httpbin.org/post")
requests.put("http://httpbin.org/put")
requests.delete("http://httpbin.org/delete")
requests.head("http://httpbin.org/get")
requests.options("http://httpbin.org/get")

 

基本的get请求

import requests

response = requests.get(‘https://www.cnblog.com‘)
print(response.text)

 

带参数的get请求

import requests

response = requests.get(‘https://book.douban.com/subject_search?search_text=python&cat=1001‘)
print(response.text)

另外，Requests模块允许使用params关键字传递参数，以一个字典来传递这些参数：

import requests

data = {
    "search_text":"python",
    "cat":1001
}
response = requests.get(‘https://book.douban.com/subject_search‘,params=data)
print(response.url)
print(response.text)

 

解析json

import requests
import json

response = requests.get("http://httpbin.org/get")
print(type(response.text))
print(response.json())      # 返回的数据若不是json类型，会报错
print(json.loads(response.text))
print(type(response.json()))

 

从结果可以看出requests里面集成的json其实就是执行了json.loads()方法，两者的结果是一样的。

获取二进制数据

在上面提到了response.content，这样获取的数据是二进制数据，同样的这个方法也可以用于下载图片以及视频资源。

添加headers

有很多网站为了防止程序爬虫爬网站造成网站瘫痪，会需要携带一些headers头部信息才能访问，最长见的有user-agent参数。

如当我们直接通过requests请求知乎网站的时候，默认是无法访问的。

因为访问知乎需要头部信息，这个时候我们在谷歌浏览器里输入chrome://version,就可以看到用户代理，将用户代理添加到头部信息。

import requests
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/73.0.3683.75 Safari/537.36"
}
response =requests.get("https://www.zhihu.com",headers=headers)

print(response.text)

这样就可以正常的访问知乎了。

基本POST请求

通过在发送post请求时添加一个data参数，这个data参数可以通过字典构造成，这样对于发送post请求就非常方便。

import requests

data = {
    "name":"eric",
    "age":22
}
response = requests.post("http://httpbin.org/post",data=data)
print(response.text)

同样的在发送post请求的时候也可以和发送get请求一样通过headers参数传递一个字典类型的数据

响应

我们可以通过response获得很多属性，例子如下：

import requests

response = requests.get("http://www.baidu.com")
print(type(response.status_code),response.status_code)
print(type(response.headers),response.headers)
print(type(response.cookies),response.cookies)
print(type(response.url),response.url)
print(type(response.history),response.history)

状态码判断
Requests还附带了一个内置的状态码查询对象

详见：https://www.cnblogs.com/zhaof/p/6915127.html

2.2requests高级用法

 文件上传

实现方法为构造一个字典，然后通过files参数传递。

import requests

files = {"files": open("girl.jpg","rb")}
response = requests.post("http://httpbin.org/post", files=files)
print(response.text)

 

获取cookie

import requests

response = requests.get("http://www.baidu.com")
print(response.cookies)

for key,value in response.cookies.items():
    print(key+"----"+value)

 

会话维持

cookie的一个作用就是可以用于模拟登陆，做会话维持

import requests
s = requests.Session()       # 实例化一个session对象,通过这个session对象访问
s.get(‘http://httpbin.org/cookies/set/number/123456‘)
response = s.get(‘"http://httpbin.org/cookies‘)
print(response.text)

 

证书验证

现在的很多网站都是https的方式访问，所以这个时候就涉及到证书的问题

有些网站默认的证书是不合法的，这样就会出现类似ssl.SSLError的错误提示

为了避免这种情况的发生可以通过将参数verify设置为False：verify=False

详见：https://www.cnblogs.com/zhaof/p/6915127.html

代理设置

import requests

proxies= {
    "http":"http://127.0.0.1:9999",
    "https":"http://127.0.0.1:8888"
}
response  = requests.get("https://www.baidu.com",proxies=proxies)
print(response.text)

如果代理需要设置账户名和密码,只需要将字典更改为如下：
proxies = {
"http":"http://user:password@127.0.0.1:9999"
}
如果你的代理是通过sokces这种方式则需要pip install "requests[socks]"
proxies= {
"http":"socks5://127.0.0.1:9999",
"https":"sockes5://127.0.0.1:8888"
}

超时设置

通过timeout参数可以设置超时的时间

认证设置

如果碰到需要认证的网站可以通过requests.auth模块实现

import requests

from requests.auth import HTTPBasicAuth

response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
print(response.status_code)

当然这里还有一种方式

import requests

response = requests.get("http://120.27.34.24:9001/",auth=("user","123"))
print(response.status_code)

 

异常处理

所有的异常都是在requests.excepitons中

见：https://www.cnblogs.com/zhaof/p/6915127.html

参考：https://www.cnblogs.com/zhaof/p/6915127.html