Python请求数据错误?
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python请求数据错误?相关的知识,希望对你有一定的参考价值。
我正在使用请求和BeautifulSoup从网页中检索和提取信息。
但是,当我调用requests.get(url)然后打印出文本结果时,它与我在网页上'检查元素'时看到的不一样。缺少多个html代码部分,某些代码在span中有“正在加载”等。
我怀疑这意味着requests.get()函数在完全加载之前从页面中提取数据。
有办法防止这种情况吗?
谢谢。
答案
正如评论中所提到的,您通过检查在浏览器中看到的是可能已使用javascript呈现的HTML。
你的代码:
requests.get(url)
是来自服务器的原始响应。 javascript尚未呈现并为您提供动态创建的HTML。
如评论中所述,如果您需要程序来呈现此页面,您可能需要尝试Selenium,PhantomJS,QT4或Ghost。
硒:https://pypi.python.org/pypi/selenium
PhantomJS:https://github.com/elias-winberg/phantomjs-python
幽灵:http://jeanphix.me/Ghost.py/
以上是关于Python请求数据错误?的主要内容,如果未能解决你的问题,请参考以下文章
我用python 币种数据=requests.get(请求域名(国外域名)).json() 电脑一翻墙就出现这个这个错误?