爬虫requests库

Posted Little_Raccoon

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫requests库相关的知识,希望对你有一定的参考价值。

response.text 返回的是一个 unicode 型的文本数据 
response.content 返回的是 bytes 型的二进制数据 

 

为什么请求需要带上header?

  模拟浏览器,欺骗服务器,获取和浏览器一致的内容

header的形式:字典

用法:requests.get(url,headers = headers)

 

什么叫做请求参数:

  https://www.baidu.com/s?wd=python&c=b

参数的形式:字典

kw = {‘wd‘:‘长城‘}

用法:requests.get(url,params=kw)

 

url编码

  https://www.baidu.com/s?wd=%E8%BF%AA%E4%B8%BD%E7%83%AD%E5%B7%B4

 

以上是关于爬虫requests库的主要内容,如果未能解决你的问题,请参考以下文章

Mooc爬虫01-request库

Python爬虫-requests库数据挖掘

Python爬虫-requests库数据挖掘

爬虫请求库——requests

网络爬虫入门:你的第一个爬虫项目(requests库)

Python爬虫--Requests 库用法大全