python爬虫，遇到403 forbidden，求助
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬虫，遇到403 forbidden，求助相关的知识，希望对你有一定的参考价值。
参考技术A遇到这种情况一般是爬虫被网站发现而禁止了，在这种情况下就要考虑爬取策略，一般有以下几种方法，从简单到容易：
设置ua
添加requests的headers，如refer，content length等
添加cookie
爬取过于频繁，每爬完一个网页sleep一段时间，一般1-5秒，越长越不容易被检测出来，也可以考虑sleep随机的时间
终极大杀招，模拟浏览器，selenium工具
具体方法自行google
本回答被提问者和网友采纳以上是关于python爬虫，遇到403 forbidden，求助的主要内容，如果未能解决你的问题，请参考以下文章
Python爬虫报错："HTTP Error 403: Forbidden"
爬虫403问题解决urllib.error.HTTPError: HTTP Error 403: Forbidden
urllib2.HTTPError: HTTP Error 403: Forbidden 请高手指点，python菜鸟一枚