Python爬虫如何获取网页Network中某个文件的response?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫如何获取网页Network中某个文件的response?相关的知识,希望对你有一定的参考价值。

举个例子谢谢,谢谢

网页信息在requests.get(xxxx).text里。好好看requests的文档。get返回的是一个response对象,里面有各种变量,你需要的是其中叫text的那一个。你直接print这个response对象的结果完全取决于开发者对__repr__或者__str__的重写情况。

参考技术A url = "www.baidu.com"
response = requests.get(url=url, headers=share_web_header)
item =
item['uri'] = url
item['request_method'] = 'GET'
item['request_header'] = response.request.headers
item['request_body'] = ''
item['response_header'] = response.headers
item['response_body'] = response.text
print(item)本回答被提问者采纳

以上是关于Python爬虫如何获取网页Network中某个文件的response?的主要内容,如果未能解决你的问题,请参考以下文章

如何用python写爬虫来获取网页中所有的文章以及关键词

如何用Python爬虫抓取网页内容?

Python爬虫学习:四headers和data的获取

java爬虫怎么抓取登陆后的网页数据

Python爬虫基础讲解(二十六):scrapy.Spider

用爬虫抓取网页得到的源代码和浏览器中看到的不一样运用了啥技术?