爬虫日记(76)：Scrapy的命令行源码分析二

Posted 2021-05-24 caimouse

列举目录scrapy\\commands里命令

从代码里可以看到，先会从scrapy\\commands里得到所有命令，这些命令是scrapy最基本的操作，包含爬虫的创建、运行和分析等等。在这里将学会怎么样构造自己的命令行系统，可以把这部分代码移植到自己的系统里，这样就可让自己的系统也支持强大的命令行方式。如果让我们来设计这个系统，遇到的第一个问题，就是怎么样得到目录里所有命令模块；第二个问题就是怎么样判断这些命令模块是合法的命令。

 

先来解决第一个问题，就是怎么样从包里得到所有命令模块。查看下面这段代码：

这个函数主要是遍历包，把包里所有的模块进行加载。参数path是包的名称，比如\'scrapy.commands\'，也就是目录scrapy\\commands。

第88行是定义一个列表，用来保存包里所有的模块。

第81行是加载当前包的模块，