Scrapy如何使scrapy爬取信息不打印在命令窗口中

Posted 2021-03-20 axiangcoding

如何使scrapy爬取信息不打印在命令窗口中

• 一般采用该条命令启动

scrapy crawl [spider_name]

• 但是，由这条命令启动的爬虫，会将所有爬虫运行中的debug信息及抓取到的信息打印在运行窗口中。很乱，也不方便查询。所以，可使用该命令代替：

scrapy crawl [spider_name]  -s LOG_FILE=spider.log

这样就会将原本打印在窗口的所有信息保存在spider.log的文件里了。可以在项目根目录中找到该文件，查看所有爬取信息。