爬虫requests库
Posted Little_Raccoon
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫requests库相关的知识,希望对你有一定的参考价值。
response.text 返回的是一个 unicode 型的文本数据
response.content 返回的是 bytes 型的二进制数据
为什么请求需要带上header?
模拟浏览器,欺骗服务器,获取和浏览器一致的内容
header的形式:字典
用法:requests.get(url,headers = headers)
什么叫做请求参数:
https://www.baidu.com/s?wd=python&c=b
参数的形式:字典
kw = {‘wd‘:‘长城‘}
用法:requests.get(url,params=kw)
url编码
https://www.baidu.com/s?wd=%E8%BF%AA%E4%B8%BD%E7%83%AD%E5%B7%B4
以上是关于爬虫requests库的主要内容,如果未能解决你的问题,请参考以下文章