python实现scrapy定时执行爬虫
Posted 吴林祥
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python实现scrapy定时执行爬虫相关的知识,希望对你有一定的参考价值。
在scrapy项目中写一个定时爬虫的程序main.py
,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
import time import os while True: os.system("scrapy crawl News") time.sleep(86400) #每隔一天运行一次 24*60*60=86400s
以上是关于python实现scrapy定时执行爬虫的主要内容,如果未能解决你的问题,请参考以下文章
python3下scrapy爬虫(第十四卷:scrapy+scrapy_redis+scrapyd打造分布式爬虫之执行)