scrapy的暂停与重启

Posted 2023-03-21

参考技术A

在爬取大型站点的时候，或遇到某些特殊情况的时候，往往需要赞同爬虫，并稍后再接着之前执行到的位置继续爬取，而不是每次出问题都从头开始。
scrapy的暂停与重启的设置很简单：
1.创建工作目录

2.用以下命令启动爬虫

上述命令中：
somespider : 启动的爬虫名
crawls/somespider-1 :你创建的工作目录+爬虫序号

后面的somespider-1是用来区分不同的爬虫的，因为官方文档提到了：

3.暂停爬虫

以上两步，爬虫便可以能暂停的状态运行，当你需要暂停的时候，只需在运行窗口发送暂停命令即可：
ctrl + c
tips：

4.暂停后的重启

输入与启动相同的命令即可：

然后爬虫就会接着上一次暂停后的位置继续运行。

完。