Scrapy中怎么传递用户自定义的参数到爬虫文件所在的类中呢？

Posted 2022-04-08 renshaoqi

问题：

　　我试图将用户定义的参数传递给scrapy的爬虫文件。我知道应该使用  -a  参数 但是我对于这个参数不是太明白？

 

　　想要通过crawl命令行命令传入自定义参数应该使用-a选项，例如：

scrapy crawl myspider -a category=electronics -a domain=system

　　爬虫可以将参数以属性的方式传递进来：

class MySpider(scrapy.Spider):
    name = ‘myspider‘

    def __init__(self, category=‘‘, **kwargs):
        self.start_urls = [f‘http://www.example.com/category‘]  # py36
        super().__init__(**kwargs)  # python3

    def parse(self, response)
        self.log(self.domain)  # system