爬虫日记(83)：Scrapy的CrawlerProcess类(三）

Posted 2021-05-29 caimouse

前面完成了CrawlerRunner类构造函数的分析，接着从哪里继续开始呢？我想应该按顺序执行的主线来进行，可以从之前运行的命令里看到执行下面的函数：

class Command(BaseRunSpiderCommand):

    def run(self, args, opts):

       ...

 

        crawl_defer = self.crawler_process.crawl(spname, **opts.spargs)

所以我们可以从crawl函数来入手，它们之间的调用关系如下图：