Python爬虫报错："HTTP Error 403: Forbidden"

Posted 2020-11-27 狗子的进阶史

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python爬虫报错："HTTP Error 403: Forbidden"相关的知识，希望对你有一定的参考价值。

错误原因：主要是由于该网站禁止爬虫导致的，可以在请求加上头信息，伪装成浏览器访问User-Agent。

新增user-agent信息：

headers = {\'User-Agent\':\'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36\'}

　req = request.Request(Spider.url, headers=Spider.headers)

　# 获取到的html的信息

　htmls = request.urlopen(req).read()

谷歌的user-agent查看方法：按F12打开调试工具，在控制台写：javascript:alert(navigator.userAgent)，user-agent信息就会弹出

以上是关于Python爬虫报错："HTTP Error 403: Forbidden"的主要内容，如果未能解决你的问题，请参考以下文章