爬虫日记(75):Scrapy的Settings源码分析

Posted caimouse

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫日记(75):Scrapy的Settings源码分析相关的知识,希望对你有一定的参考价值。

由于前面学习的例子可知,scrapy程序会加载内部缺省的参数,它是定义在scrapy\\settings目录下面,它的名称叫做default_settings.py,里面的参数非常多,这也是全局默认设定。可以使用下面的命令来查看:

>>> import scrapy.settings

>>> dir(scrapy.settings.default_settings)

现在我们要来分析相关的代码,明白它是怎么加载到爬虫里面,以及什么时候开始加载这些参数。

这是在scrapy\\utils\\project.py里的函数get_project_settings(),然后调用Settings类的构造函数,它被定义在scrapy\\settings\\__init__.py文件里,最后在构造函数调用setmodule(default_settings, \'default\')来实现读取全局使用的参数

以上是关于爬虫日记(75):Scrapy的Settings源码分析的主要内容,如果未能解决你的问题,请参考以下文章

爬虫日记(88):Scrapy的Downloader类

爬虫日记(74):Scrapy项目配置参数源码分析(二)

爬虫日记(63):Scrapy的设置参数-日志

爬虫日记(74):Scrapy项目配置参数源码分析

爬虫日记(84):Scrapy的Crawler类

爬虫日记(73):Scrapy程序运行入口点分析