爬虫日记(75):Scrapy的Settings源码分析
Posted caimouse
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫日记(75):Scrapy的Settings源码分析相关的知识,希望对你有一定的参考价值。
由于前面学习的例子可知,scrapy程序会加载内部缺省的参数,它是定义在scrapy\\settings目录下面,它的名称叫做default_settings.py,里面的参数非常多,这也是全局默认设定。可以使用下面的命令来查看:
>>> import scrapy.settings
>>> dir(scrapy.settings.default_settings)
现在我们要来分析相关的代码,明白它是怎么加载到爬虫里面,以及什么时候开始加载这些参数。
这是在scrapy\\utils\\project.py里的函数get_project_settings(),然后调用Settings类的构造函数,它被定义在scrapy\\settings\\__init__.py文件里,最后在构造函数调用setmodule(default_settings, \'default\')来实现读取全局使用的参数
以上是关于爬虫日记(75):Scrapy的Settings源码分析的主要内容,如果未能解决你的问题,请参考以下文章