Python请求数据错误?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python请求数据错误?相关的知识,希望对你有一定的参考价值。

我正在使用请求和BeautifulSoup从网页中检索和提取信息。

但是,当我调用requests.get(url)然后打印出文本结果时,它与我在网页上'检查元素'时看到的不一样。缺少多个html代码部分,某些代码在span中有“正在加载”等。

我怀疑这意味着requests.get()函数在完全加载之前从页面中提取数据。

有办法防止这种情况吗?

谢谢。

答案

正如评论中所提到的,您通过检查在浏览器中看到的是可能已使用javascript呈现的HTML。

你的代码:

requests.get(url)

是来自服务器的原始响应。 javascript尚未呈现并为您提供动态创建的HTML。

如评论中所述,如果您需要程序来呈现此页面,您可能需要尝试Selenium,PhantomJS,QT4或Ghost。

硒:https://pypi.python.org/pypi/selenium

PhantomJS:https://github.com/elias-winberg/phantomjs-python

幽灵:http://jeanphix.me/Ghost.py/

用QT4刮痧:https://impythonist.wordpress.com/2015/01/06/ultimate-guide-for-scraping-javascript-rendered-web-pages/

以上是关于Python请求数据错误?的主要内容,如果未能解决你的问题,请参考以下文章

Python:带有发布请求的 FastAPI 错误 422

关于Python的post请求报504错误

我用python 币种数据=requests.get(请求域名(国外域名)).json() 电脑一翻墙就出现这个这个错误?

Python 请求 POST DATA 错误 400 标头名称无效

Python使用中错误(持续更新.....)

Python Post 请求 - 通过 Outlook API 发送文件时出现 415 错误