数据从具有不受支持的浏览器错误的网站获取请求

Posted 2023-02-19

【中文标题】数据从具有不受支持的浏览器错误的网站获取请求

【英文标题】：data get requests from a website with unsupported browser error

【发布时间】：2019-04-22 09:59:28

【问题描述】：

我基本上已经尝试了所有方法，但仍然出现不支持的浏览器错误。我使用请求模块。我尝试过使用标题，其他模块，但仍然相同。

import requests
url = "https://www.ratemyagent.com.au/"
response = requests.get(url)
html_icerigi = response.text
soup = BeautifulSoup(html_icerigi, "html.parser")

https://www.ratemyagent.com.au/ 这是地址。所以如果你有任何想法摆脱这个错误，请告诉我。

非常感谢

编辑：这是我尝试过的标题：

user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36' headers = 'User-Agent' : user_agent response = requests.get (url, headers=headers)

versions // python 3. BeautifulSoup4: 4.6.0 requests:2.20 [这是有 soup.text 或 reponse.text 的输出][1]

【问题讨论】：

无法重现错误，从请求中接收 HTTP 200

但是当你打印文本时浏览器不支持

您尝试过哪些标头？具体来说，User-Agent 标头是什么？

user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36' headers = 'User-Agent' : user_agent response = requests.get(url, headers=headers)

这是我尝试过的

【参考方案1】：

它是not a error

当你通常通过chrome browser搜索https://www.ratemyagent.com.au/时，你得到的页面资源也有你说的信息：

虽然您通过请求模块获得的资源与您从网络浏览器获得的资源相同，但我认为这不是错误。