爬虫基础

Posted 2021-03-01 wutongluo

聚焦爬虫的流程

得到url_list即需要爬取的url地址，

发起请求，返回响应内容，

如果响应内容中还有你需要爬取的url再添加到url_list中，

再次发起请求，直到没有url或者不需要爬取的url，

提取数据，提取需要的数据，

最后一步，把数据存入数据库

requests模块

作用：发起请求，返回响应数据

requests的基本使用

requests.get(url)

response（响应的常见属性）

response.text      # 响应内容，str类型
response.content    # 响应内容，bytes类型
response.status_code   # 响应状态码
response.request.headers  # 响应对应的请求头
response.headers   # 响应头
response.request.cookies   # 响应对应请求的cookie
response.cookies   # 响应的cookie（经过了set-cookie动作）

response.text和response.content的区别

response.text
类型：str
如何修改编码方式： response.encoding=“gbk”

response.content
类型: bytes
如何修改编码方式: response.content.deocde("utf8")


获取网页源码的通用方式：
response.content.decode()
response.content.decode("GBK")
response.text

更推荐使用response.content.deocde()的方式获取响应的html页面

response.request.headers

1.1 为什么要带上请求头

模拟浏览器，欺骗服务器，获取和浏览器一致的内容

1.2 header的类型  

字典

1.3 用法

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
....

} # 把这个字典赋值进去
 
response.get(url, headers=headers)

请求参数

什么是请求参数

url问号后面的就是请求参数，也叫查询字符串

怎么获取

kw 也是一个字典类型
params=kw  这个就是获取查询字符串的属性
# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)

requests模块

• 在python2 和python3中通用，方法完全一样
• requests简单易用
• Requests能够自动帮助我们解压(gzip压缩的等)响应内容