爬虫日记(74):Scrapy项目配置参数源码分析(二)
Posted caimouse
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫日记(74):Scrapy项目配置参数源码分析(二)相关的知识,希望对你有一定的参考价值。
接着下来是下面这语句:
init_env(project)
这是调用init_env函数,这个函数主要用来读取所有的scrapy.cfg,然后把这个配置文件里的settings字段所有参数保存到os.environ[\'SCRAPY_SETTINGS_MODULE\']。scrapy.cfg 文件,其采用 ini 格式,和普通的配置文件用法相同。其会在下面的位置查找该文件。
系统级别:/etc/scrapy.cfg或c:\\scrapy\\scrapy.cfg。
用户级别:~/.config/scrapy.cfg($XDG_CONFIG_HOME)及~/.scrapy.cfg($HOME)。
项目级别:在 Scrapy 项目根路径下的 scrapy.cfg。
如果查到多个配置文件,Scrapy 会进行合并操作。如果对于同一个属性在多个文件中都有定义,那么项目级别的优先级最高,系统级别的优先级最低,此时仅高优先级的定义才有效。比如在我们这里运行的项目只有一个scrapy.cfg配置文件:
以上是关于爬虫日记(74):Scrapy项目配置参数源码分析(二)的主要内容,如果未能解决你的问题,请参考以下文章