如何处理python爬虫ip被封
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何处理python爬虫ip被封相关的知识，希望对你有一定的参考价值。
如何处理python爬虫ip被封1、爬虫降低访问速度
由于上文所说的访问速度过快会引起IP被封，那么最直观的办法便是降低访问速度，这样就能避免了我们的IP被封的问题。只是呢，降低速度，爬虫的效率就降低，主要还是要降低到什么程度?
在这一点上吗，我们首先要测试出网站设置的限制速度阈值，如此一来我们才能设置合理的访问速度，建议不要设固定的访问速度，可以设置在一个范围之内，避免过于规律而被系统检测到，从而导致IP被封。
2、爬虫切换IP访问
降低了访问速度，在所难免的影响到了爬取的抓取效率，无法高效的抓取，如此一来的抓取速度与人工抓取有何区别呢?都没有了使用爬虫抓取的优势了。既然单个爬虫被控制了速度，但是我们可以使用多个爬虫同时去抓取啊!是的，我们可以使用多线程，多进程，配合使用代理，不同的线程使用不同的IP地址，就像是同时有不同的用户在访问，如此一来就能大大的提高爬虫的爬取效率了。 参考技术A 网络爬虫抓取信息的过程中，如果抓取频率过高或者使用了多线程，很容易被禁止访问。通常，网站的反爬虫机制都是依据IP和用户的User-Agent来标识爬虫的。于是在爬虫的开发者可以通过以下方式来解决这个问题：
1、放慢抓取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。
2、第二种方法是通过设置ip代理等手段，突破反爬虫机制继续高频率抓取。但是这样需要大量稳定的ip转换器。 参考技术B 一个是使用request库模拟人类正常登陆，浏览
再一个是用time模块中的sleep把爬取速度强制调整到3~4秒一次请求
如果真是被封了，那么换个ip吧本回答被提问者采纳 参考技术C 钱是解决之道
以上是关于如何处理python爬虫ip被封的主要内容，如果未能解决你的问题，请参考以下文章