爬虫学习requests模块的使用

Posted 2022-07-15 chjxbt

一、requests的概述

requests模块是用于发送网络请求，返回响应数据。底层实现是urllib，而且简单易用，在python2、python3中通用，能够自动帮助我们解压(gzip压缩的等)网页内容。

 

二、requests的基本使用

1、基本使用：

• 安装requests模块： pip install requests
• 导入模块：import reqeusts
• 发送请求，获取响应：response = requests.get(url)
• 从响应中获取数据

2、方法：

（1）requests.get(url, params=None, **kwargs)，发送一个get请求，返回一个Response对象

• url：请求的url
• params：get请求的?后面可选参数字典
  方式一：自己拼接一个带有参数的URL，比如"https://www.sogou.com/web?query="
  方式二：在发送请求时，使用params指定，格式requests.get("url", params=)
• **kwargs：可选参数
  headers：请求头参数字典，格式 requests.get(url, headers=)

（2）requests.post(url, data=None, json=None, **kwargs)，发送一个post请求

3、对象：

（1）Response对象，是发送请求后的响应对象

常用属性：

• Response.text：str类型的响应数据
• Response.content：二进制类型的响应数据
• Response.status_code：响应状态码
• Response.headers：响应头
• Response.request.headers：请求头