Python爬虫如何避免爬取网站访问过于频繁

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫如何避免爬取网站访问过于频繁相关的知识,希望对你有一定的参考价值。

一. 关于爬虫
爬虫,是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。

反爬虫,从不是将爬虫完全杜绝;而是想办法将爬虫的访问量限制在一个可接纳的范围,不要让它过于频繁。

二. 提高爬虫效率的方法
协程。采用协程,让多个爬虫一起工作,可以大幅度提高效率。

多进程。使用CPU的多个核,使用几个核就能提高几倍。

多线程。将任务分成多个,并发(交替)的执行。

分布式爬虫。让多个设备去跑同一个项目,效率也能大幅提升。

打包技术。可以将python文件打包成可执行的exe文件,让其在后台执行即可。

其他。比如,使用网速好的网络等等。

三. 反爬虫的措施
限制请求头,即request header。解决方法:我们可以填写user-agent声明自己的身份,有时还要去填写origin和referer声明请求的来源。

限制登录,即不登录就不能访问。解决方法:我们可以使用cookies和session的知识去模拟登录。

复杂的交互,比如设置“验证码”来阻拦登录。这就比较难做,解决方法1:我们用Selenium去手动输入验证码;方法2:我们用一些图像处理的库自动识别验证码(tesserocr/pytesserart/pillow)。

ip限制。如果这个IP地址,爬取网站频次太高,那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法:使用time.sleep()来对爬虫的速度进行限制,建立IP代理池或者使用IPIDEA避免IP被封禁。
参考技术A 目前大数据的抓取都是由爬虫完成的,爬虫技术的应用很广泛,但用户都知道,一个IP频繁的抓取网站的时候,会被限制,甚至被封掉IP。那么,怎么处理爬虫频繁的问题呢?
这个问题的答案便是利用多IP爬虫,借助多个IP爬虫后,就可以处理频繁的问题了,具体的形式有以下几种:
1.如果使用的是局域网,并且有路由器,能够 通过重启路由的方式来换IP。
2.通过ADSL拨号,每当重新拨号的时候,IP便会变成新的,解决单IP的问题。
3.代理IP在网络上购买就可以了,或是选择免费代理IP,但质量不高。使用代理IP能够 实现多IP爬虫,这是非常常见的方法。
4.目前还有分布式爬虫,可以通过多个服务器,多个IP,随后让多个爬虫同时进行运行,这样效率非常高。
因此 ,处理爬虫频繁的问题还是有很多方法的,常见的是后两种。爬虫需要用的代理IP一般对质量要求较高,因为用的IP会比较多。
参考技术B 几个方法
1、代理ip
2、设置延迟,就是time.sleep(1000)
3、渗透本回答被提问者采纳

Stripe:如何避免过于频繁地调用 API?

【中文标题】Stripe:如何避免过于频繁地调用 API?【英文标题】:Stripe: How To Avoid Calling The API Too Often? 【发布时间】:2016-04-29 16:21:53 【问题描述】:

我正在建立一个(小型)订阅盒业务,我现在需要专注于网络应用程序。我已经建立了基于条带的网站,所以我有相当的知识。

但是,我在构建这些以前的网站时遇到的问题是 API 被太频繁地调用。它减慢了一切。

如何构建这个基于订阅的网站,仅使用 Stripe,并且仅在需要时调用 Stripe API(创建/编辑客户、计划、订阅等)同时仍 确保网站上的信息对管理员和客户都进行了协调和最新

【问题讨论】:

太频繁是什么意思? 【参考方案1】:

在此处查看 Stripe Webhook API:https://stripe.com/docs/webhooks

您可以将用户的信息存储在数据库中,并且仅在用户进行 UI 操作时才更新这些字段,并且您可以假设要更新的内容(例如订阅计划 ID)或使用 webhook 处理程序,您可以也可用作健全性检查。

更具体地说,我可以举一些例子,因为当用户执行以下操作时,您仍然需要进行 API 调用:创建帐户、删除他们的订阅、订阅不同的订阅。您将在他们的订阅到期时存储在数据库中。当用户提出请求时,您无需调用 API 来检查他们的订阅何时到期,而是检查数据库字段。当订阅自行更新时,您将拥有一个 webhook 处理程序来更新数据库中的到期日期。

基本上它的工作原理是 Stripe 只会在需要时向您的服务发出请求,而不是您的服务在每次请求时都调用 Stripe。

对于 WordPress,您可以使用用户元数据来缓存/存储用户的信息,并且只调用您的数据库以加快交易速度。 http://codex.wordpress.org/Function_Reference/get_user_meta

【讨论】:

你明白这个问题了吗?我没有。 是的,他的问题是,通过使用 Stripe 的 REST API,您必须等到 Stripe 返回响应后,服务器才会响应用户。这对性能非常不利,用户基本上必须等待 2 个 HTTP 请求才能获得响应。通过使用 webhook,您可以使系统更具反应性,从而消除整个 HTTP 请求。当用户创建帐户或订阅新订阅时,您需要进行 REST 调用。 太好了,正是我想要的。没有意识到网络钩子!用户发起的一切都会生成一个 API 调用,Stripe 自动化的一切都会生成它们以调用 webhook,然后我可以更新相关的用户元以获取基本信息!

以上是关于Python爬虫如何避免爬取网站访问过于频繁的主要内容,如果未能解决你的问题,请参考以下文章

如何处理python爬虫ip被封

如何应对网站反爬虫策略?如何高效地爬大量数据

Python网络爬虫课程设计

请教一个问题,怎么提高 python 爬虫的爬取效率

python爬虫,遇到403 forbidden,求助

python爬虫简单的添加代理进行访问