爬虫日记(84)：Scrapy的Crawler类
Posted caimouse
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫日记(84)：Scrapy的Crawler类相关的知识，希望对你有一定的参考价值。
前面完成Crawler类的构造函数分析，接着下来我们来分析这个类的第一个开始调用的函数，Crawler类被创建之后，就会立即调用crawl函数，代码如下：
class CrawlerRunner:
...
def _crawl(self, crawler, *args, **kwargs):
self.crawlers.add(crawler)
d = crawler.crawl(*args, **kwargs)
self._active.add(d)
...
在这里传送给crawl函数的参数是从命令行里传过来的参数，大部分重要的工作都是在crawl函数里完成的。这个函数的代码如下：
以上是关于爬虫日记(84)：Scrapy的Crawler类的主要内容，如果未能解决你的问题，请参考以下文章