如何使用延迟python代码更慢地抓取[重复]

Posted 2023-02-21

【中文标题】如何使用延迟python代码更慢地抓取[重复]

【英文标题】：How to scrape more slowly using delay python code [duplicate]

【发布时间】：2018-10-23 17:21:48

【问题描述】：

我正在制作一个网页scraper，它有一个从一个页面到另一个页面的循环。唯一的问题是它运行得太快，我被暂时禁止访问该网站。 （该网站允许机器人访问其内容）。

是否有任何库/命令可以添加到我的代码中以使其运行速度变慢？

【参考方案1】：

以下代码将使您的代码休眠 1 秒。

import time
time.sleep(1)

【讨论】：

另外，你可以使用 AsyncIO。