爬虫日记(76):Scrapy的命令行源码分析三

Posted caimouse

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫日记(76):Scrapy的命令行源码分析三相关的知识,希望对你有一定的参考价值。

从setup.py文件注册命令

当我们编写scrapy的定制命令时,一般是采用项目目录内创建命令行文件,不过这种方式比较适合一个项目,如果想要多个项目之间进行共享,就必须使用安装的方式,也就是采用setup.py文件注册的方式了。

 

从scrapy使用文档中可以看到scrapy.commands的位置添加命令,如下的例子:

from setuptools import setup, find_packages



setup(name=\'scrapy-mymodule\',

  entry_points={

    \'scrapy.commands\': [

      \'my_command=my_scrapy_module.commands:MyCommand\',

    ],

  },

 )

当采用这种方式安装命令之后,scrapy里需要使用pkg_resources,这是一个setuptools工具提供的库,可以采用下面的命令导入:

import pkg_resources

接着在scrapy里就使用下面的代码来处理:

以上是关于爬虫日记(76):Scrapy的命令行源码分析三的主要内容,如果未能解决你的问题,请参考以下文章

爬虫日记(76):Scrapy的命令行源码分析三

爬虫日记(88):Scrapy的Downloader类

爬虫日记(75):Scrapy的Settings源码分析

爬虫日记(77):Scrapy的命令合法的判断

爬虫日记(74):Scrapy项目配置参数源码分析(二)

爬虫日记(74):Scrapy项目配置参数源码分析