爬虫日记(74)：Scrapy项目配置参数源码分析

Posted 2021-05-22 caimouse

前面已经知道scrapy程序运行之后，会调用execute（）函数来执行，这是程序入口点，而在这个入口点的背后，第一步做的事情就是获得程序所有的配置参数，因为scrapy程序设计为非常灵活的程序，基本任何模块和组件都是通过配置文件来定制，如果对这个不了解，建议看一下我前面发的文章。

def get_project_settings():
    if ENVVAR not in os.environ:
        project = os.environ.get(\'SCRAPY_PROJECT\', \'default\')
        init_env(project)

    settings = Settings()
    settings_module_path = os.environ.get(ENVVAR)
    if settings_module_path:
        settings.setmodule(settings_module_path, priority=\'project\')

    pickled_settings = os.environ.get("SCRAPY_PICKLED_SETTINGS_TO_OVERRIDE")
    if pickled_settings:
        warnings.warn("Use of environment variable "
                      "\'SCRAPY_PICKLED_SETTINGS_TO_OVERRIDE\' "
                      "is deprecated.", ScrapyDeprecationWarning)
        settings.setdict(pi