python scrapy 重复执行
Posted winstonsias
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python scrapy 重复执行相关的知识，希望对你有一定的参考价值。
from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
#在控制台打印日志
configure_logging()
#CrawlerRunner获取settings.py里的设置信息
runner = CrawlerRunner(get_project_settings())
@defer.inlineCallbacks
def crawl():
while True:
logging.info("new cycle starting")
yield runner.crawl("xxxxx")
#1s跑一次
time.sleep(1)
reactor.stop()
crawl()
reactor.run()
以上是关于python scrapy 重复执行的主要内容，如果未能解决你的问题，请参考以下文章